問題タブ [huggingface-transformers]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
1478 問題
0
投票する
0
に答える
546
参照
huggingface-transformers - berts 出力レイヤーでトークンの位置を取得する
各トークンのバート ベクトルに関心があります。bert ベクトルとは、berts 出力層の特定のトークンの単語ベクトルを意味します。したがって、どのトークンがどのバート ベクトルを生成するかを調べたいと思います。いくつかのコードを書きましたが、それが正しいかどうか、またはテストする方法がわかりません。
したがって、コードでは文を bert で処理します。位置 ID のリストを作成し、モデルに渡します。その後、同じ位置 ID を使用して、トークンを出力レイヤーにマップします。次に、入力文の各ベクトルの文字オフセットを計算するコードがあります。
これは、position_ids を使用して生成する正しい方法ですか?
0
投票する
1
に答える
731
参照
python - 引数「never_split」がbertトークナイザーで機能しない
オプションを使用して、never_splitいくつかのトークンを保持しようとしました。しかし、トークナイザーはそれらをワードピースに分割します。
ここで何かが恋しいですか？