問題タブ [attention-model]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 非テキスト分類の注意メカニズムを使用して RNN をモデル化する方法は?
Recurrent Neural Networks (RNN) With Attention Mechanism は、一般的に機械翻訳と自然言語処理に使用されます。Python では、機械翻訳で RNN With Attention Mechanism の実装が豊富です (例: https://talbaumel.github.io/blog/attention/の場合) 。データ ファイル (テキスト/文ベースのデータではありません)。
Pandas を使用してデータフレームに変換した 21392 x 1972 のサイズの CSV ファイルがあります。最初の列は日時形式で、最後の列は、識別したい「Class1」、「Class2」、「Class3」などのターゲットクラスで構成されています。したがって、合計で 21392 行 (10 分のタイム ステップのデータのインスタンス) と 1971 のフィーチャがあります。最後 (1972 番目の列) はラベル列で、全部で 14 の異なるクラスがあります。
Keras ( https://medium.com/datalogue/attention-in-keras-1892773a4f22 ) と Tensorflow ( Tensorflowでの注意活性化の視覚化) に関する利用可能な実装ドキュメントを調べましたが、それらのどれも何をしているようには見えません成し遂げたい。これが異常なアプローチであることは理解していますが、これを試してアテンション メカニズムを使用したいと考えています。なぜなら、私の機能の多くはおそらくデータ内で冗長であるからです。
Attention Mechanism が RNN に結合されたときに非常にうまく機能することは、既存の文献から支配的です。視覚化も提供できる Attention Mechanism を使用した RNN のそのような実装を見つけることができません。また、データをシーケンス (またはリストのリスト) に変換して、後で RNN with Attention を使用するために One Hot Encoding で使用できるようにする方法も理解できません。私は Python と Keras/Tensorflow を使用するのが初めてで、シーケンス分類の問題を模倣できる形式にデータを変換/型キャストする手順について非常に混乱しています。私の問題は基本的にマルチクラス分類です。機械学習分類器を使用してラベルを予測するのと同じように、注意を払って RNN を使用します。この点で何か助けていただければ幸いです。乾杯！
deep-learning - Transformer - Attention is all you need - encoder decoder cross attention
It is my understanding that each encoder block takes the output from the previous encoder, and that the output is the attended representation (Z) of the sequence (aka sentence). My question is, how does the last encoder block produce K, V from Z (to be used in encoder-decode attention aublayer of the decoder)
are we simply taking Wk and Wv from last encoder layer?