問題タブ [sequence-to-sequence]

最初のいくつかの入力に基づいて経時的にセンサー信号を予測するために、シーケンスからシーケンスへのモデルを構築しようとしました (下の図を参照)。

モデルは問題なく動作しますが、「スパイスを効かせ」て、2 つの LSTM レイヤーの間にアテンション レイヤーを追加してみます。

モデルコード:

ドキュメントを見ましたが、少し迷っています。現在のモデルにアテンション レイヤーやコメントを追加していただけると助かります。

更新: グーグルで調べた後、すべてが間違っていると思い始め、コードを書き直しました。

このGitHub リポジトリで見つけた seq2seq モデルを移行しようとしています。リポジトリ コードで示された問題は、ランダムに生成された正弦波をいくつかの初期サンプルに基づいて予測することです。

同様の問題があり、ニーズに合わせてコードを変更しようとしています。

違い:

• 私のトレーニング データ形状は (439, 5, 20) 439 の異なる信号、それぞれ 20 の特徴を持つ 5 つのタイム ステップ
• fit_generatorデータをフィッティングするときに使用していません

ハイパーパラメータ:

エンコーダーコード:

デコーダーコード:

モデルの概要:

モデルを当てはめようとするとき:

次のエラーが表示されます。

私は何を間違っていますか？

Keras を使用して可変長の入力/出力多対多シーケンスを予測しようとしています。以下のデータフレームは data の表現です。5 つの列と 1 つのターゲット列。

データを再形成するために、一度に 1 列ずつ供給される 6 つのサンプル、5 つの列があり、y は 6 つのサンプル、1 列ずつ一度に供給されます

「シーケンスを使用して配列要素を設定する」というエラーが表示されます。入力がリストの混合物であるためですか?そうであれば、これを平坦化する方法は?

このウェブサイトから注目して、seq-to-seq モデルを実装する方法を理解しようとしています。

私の質問: nn.embedding は単語ごとにいくつかの ID を返すだけなので、各単語の埋め込みはトレーニング全体で同じになりますか? それとも、トレーニングの過程で着替えていますか？

私の 2 番目の質問は、トレーニング後に nn.embedding の出力が word2vec 単語埋め込みなどであるかどうかについて混乱しているためです。

前もって感謝します