machine-learning - pylearn2 の隠れ層でリーキーな ReLus を活性化関数として使用する方法

Question

CNN を設計するために pylearn2 ライブラリを使用しています。Leaky ReLus を活性化関数として 1 つのレイヤーで使用したいと考えています。pylearn2 を使用してこれを行う方法はありますか? カスタム関数を作成する必要がありますか、それともpylearn2には関数が組み込まれていますか? もしそうなら、カスタムコードを書く方法は? ここで誰か助けてくれませんか？

Answer 1

ConvElemwiseスーパークラスは、一般的な畳み込み elemwise レイヤーです。そのサブクラスの中で、 ConvRectifiedLinearは、 RectifierConvNonlinearityクラスを使用する畳み込み整流線形層です。

apply()メソッドでは：

    p = linear_response * (linear_response > 0.) + self.left_slope *\
        linear_response * (linear_response < 0.)

この穏やかなレビューが指摘しているように：

... ReLU とそのリーキー バージョンを一般化するMaxout ニューロン ( Goodfellow らによって最近導入された)。

例はMaxoutLocalC01BまたはMaxoutConvC01Bです。

pylearn2-userに回答がない理由は、pylearn2がほとんどLISA ラボの研究者によって書かれているためかもしれません。そのため、 FAQのポイント 13 のしきい値が高い可能性があります。