問題タブ [bert-language-model]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

1297 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
2 に答える
2224 参照

python - BERT の行列がクエリ、キー、および値と呼ばれるのはなぜですか?

BERTの変換ユニット内には、Query、Key、Value、または単に Q、K、V と呼ばれるモジュールがあります。

BERT の論文とコード(特にModeling.py内) に基づいて、単一のアテンション ヘッドを持つアテンション モジュール (Q、K、V を使用) のフォワード パスの私の擬似コードの理解は次のとおりです。

BERT は「自己注意」を使用することに注意してください。そのためfrom_tensor、 とto_tensorは BERT と同じです。これらは両方とも、前のレイヤーからの単なる出力だと思います。

質問

  1. マトリックスがクエリ、キー、および値と呼ばれるのはなぜですか?
  2. アルゴリズムの疑似コード表現に誤りはありましたか?

12345678910