問題タブ [huggingface-tokenizers]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

242 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
1 に答える
388 参照

deep-learning - HuggingFace nlp ライブラリの GLUE for CoLA の使い方

HuggingFace nlp ライブラリの GLUE メトリックを使用して、特定の文が文法的な英語の文であるかどうかを確認しようとしています。しかし、エラーが発生し、先に進むことができずに立ち往生しています。

これまでに試したこと;

参照と予測は2つのテキスト文です

エラーが発生しました。

ただし、上記と同じ回避策で「stsb」の結果 (pearson および spearmanr) を取得できます。（コーラ）のいくつかのヘルプと回避策は本当にありがたいです。ありがとうございました。

0 投票する
1 に答える
1710 参照

nlp - HuggingFace Transformers: BertTokenizer によるキャラクターの変更

https://github.com/botxo/nordic_bertからノルウェーのBERTモデルをダウンロードし、次を使用してロードしました:

これは非常にうまく機能しますが、特定の文をトークン化しようとすると、「ø」や「æ」などの一部の北欧文字は同じままですが、文字「å」を持つすべての単語は「a」に置き換えられます。例えば：

収量:

ありがとう


12345678910