問題タブ [pytorch-lightning]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

257 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
0 に答える
841 参照

pytorch - BERT 微調整: マルチクラス分類での高損失と低精度

微調整された Bert を使用したバイナリ分類はうまく機能しましたが、マルチクラス分類に固執しています。私のデータセット (10 クラスのドイツのニュース記事) には、およそ 10.000 のサンプルが含まれています。ただし、トレーニング損失と平均評価損失は 2.2 前後です。

いくつかの NLP 構成変数:

データローダー:

Pytorch_lightning モジュール:

トレーナー:

トレーナー.フィット(モデル)

これは損失曲線のサンプルです。

サンプル損失曲線

私の中心的な質問は次のとおりです。

  1. CrossEntropyLoss は正しく使用されていますか?
  2. オプティマイザーは機能しますか?予測はすべてのサンプルでかなり早く同じになります。
  3. 学習率の問題は問題を解決しませんでした。1e-2 から 1e-6 までの範囲を試しました

ご協力いただきありがとうございます。:)


12345678910