問題は次のとおりです。語彙サイズ 25K のカテゴリ予測タスクがあります。そのうちの 1 つ (入力ボキャブ 10K、出力薄暗い、つまり埋め込み 50) で、入力埋め込み (形状 1,50) と重み (形状 (50,128)) の間の行列乗算のためのトレーニング可能な重み行列を導入したい (バイアスなし) ）、結果のベクトル スコアは、他の機能とともに予測タスクの入力となります。
重要なのは、単純に追加すると、トレーニング可能な重みマトリックスは入力ごとに異なると思います。この重みマトリックスをすべての入力で共通にしたいのです。
明確にする必要があります-ここでの入力とは、トレーニングの例を意味します。したがって、すべての例は、いくつかの例固有の埋め込みを学習し、共有重み行列で乗算されます。
非常に多くのエポックごとに、これらの一般的な重みを学習するためにバッチ更新を行う予定です (または、他のターゲット変数を使用して複数の出力予測を行います)。
LSTM? それは私がここで調べるべきことですか？