問題タブ [named-entity-extraction]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
90 問題
0
投票する
0
に答える
175
参照
python - Layoutlm の微調整中の小さなデータセットへの過剰適合。どの正則化手法が提案されていますか?
現在、layoutlm モデルのトレーニングに huggingface パッケージを使用しています。しかし、トークン分類タスクでオーバーフィッティングが発生しています。私のデータセットには 400 個のドキュメントしか含まれていません。非常に小さなデータセットであることはわかっていますが、これ以上のデータを収集する機会は他にありません。
私の結果は下の表にあります。私の意見ではどちらが高いかを試しweight_decay=0.1ました。また、f1 スコアと損失に基づいて早期停止を試みましたが、うまくいきませんでした。
どの正則化手法を追加で試す必要がありますか? バートのようなモデルを使用して小さなデータセットに過剰適合する解決策はありますか?