neural-network - Deeplearning4j で Graves-LSTM セルに 4 + 7 = 11 の重みがあるのはなぜですか?

Question

Graves-LSTM 層セルに 11 個の重みがある理由とその目的は何ですか?

以下の例では、重みリストを生成できます。

MultiLayerNetwork model = new MultiLayerNetwork(new NeuralNetConfiguration.Builder()
        .list()
        .layer(0, new GravesLSTM.Builder()
                .nIn(1)
                .nOut(1)
                .activation("sigmoid")
                .weightInit(WeightInit.ZERO)
                .build()
                )
        .build());
model.init();

System.out.println("Weigths: " + model.paramTable());

アウト：

重み:

{0_W=[0.00, 0.00, 0.00, 0.00], 0_RW=[0.00, 0.00, 0.00, 0.00, 0.00, 0.00, 0.00], 0_b=[0.00, 1.00, 0.00, 0.00]}

( 11 ウエイト + 4 バイアス )

対照的に、 GravesLSTMの代わりに DenseLayerを使用した出力を次に示します。

重み: {0_W=0.00, 0_b=0.00}

( 1 重み + 1 バイアス、これは明らかです。)