問題タブ [squad]

サイモン・ペイトン・ジョーンズは、厄介な分隊に取り組むという論文で、 Channel.

今、彼はputChan :: Channel a -> a -> IO ()このような機能を実装しています

上記の関数は、MVar を書き込みから取り出し、空の MVar をそれに入れます。
次に、write から抽出した old_hole に書き込みます。

問題は、なぜ old_hole に書き込むのかということです。それは write から取り出され、そのスコープは現在のブロックのみに制限されています。

SQuAD 2.0 の huggingface-transformers スクリプトでの ALBERT の使用について質問があります。

github のページには、ALBERT を使用してスクリプトを実行する方法について具体的な指示がないため、BERT でスクリプトを実行する場合と同じ仕様を使用しました。ただし、達成された最終結果は (exact_match = 30.632527583593028、f1 = 36.36948708435092) であり、BERT によって達成され、github ページで報告されている (f1 = 88.52、exact_match = 81.22) とはかけ離れています。だから私は何か間違ったことをしているかもしれないと思います。

これは、コマンド ラインで実行したコードです。

これとトランスフォーマーのページのものとの唯一の違いは、「bert_base_uncased」を使用する model_name と、12 である per_gpu_train_batch_size ですが、GPU のメモリの制約により 5 を使用する必要がありました。

スクリプトを実行するときにいくつかのオプションを忘れていますか、それとも per_gpu_train_batch_size が 12 ではなく 5 に設定されているために結果が達成されていますか?

ありがとう！

BERT線形レイヤーとその上のレイヤーで事前トレーニングされた質問応答システムを作成していsoftmaxます。ネットで入手可能なテンプレートに従うと、通常、1 つの例のラベルは 1answer_start_indexと 1だけで構成されanswer_end_indexます。たとえば、オブジェクトHuggingfaceをインスタンス化するときから:SQUADFeatures

しかし、私自身のデータセットでは、回答語がコンテキスト内の複数の場所で見つかった例があります。つまり、回答を構成する正しいスパンがいくつかある可能性があります。

私の問題は、そのような例を管理する方法がわからないことですか? ネット ラベルで利用可能なテンプレートは、通常、次のように一覧表示されます。

• [start_example1, start_example2, start_example3]
• [end_example1, end_example2, end_example3]

私の場合、これは次のようになります。

• [start_example1, [start_example2_1, start_example2_2], start_example3]
• もちろん最後も同じ

言い換えれば、例ごとに 1 つのラベルを含むリストはありませんが、例として単一ラベルまたは「ラベル」のリスト、つまりリストで構成されるリストのいずれかを含むリストがあります。

他のテンプレートに従う場合、プロセスの次のステップは次のとおりです。

ただし、これはもちろん (?) 私の span_start リストと span_end リストには単一項目だけが含まれているのではなく、リスト内のリストが含まれている場合があるため、エラーが発生します。

この問題にどのように取り組むことができるかについて誰にも考えがありますか? コンテキストに存在する回答を構成するスパンが 1 つしかない例のみを使用する必要がありますか?

torch-error を回避した場合、損失の逆伝播 / 評価 / 計算は引き続き機能しますか?

ありがとう！/B