training-data - MaxEnt のトレーニングに正則化が必要なのはなぜですか?

Question

私は NLP に関する jurafsky の本を読んでいますが、MaxEnt のトレーニングについては、オーバーフィッティングを防ぐために重みを正規化する必要があると述べています。しかし、なぜこれが起こるのか理解できません。正則化を使用しない場合、maxent のトレーニング中にオーバーフィッティングがどのように発生するかを説明できる人はいますか?

Answer 1

私はその特定の本を読んだことはありませんが、機械学習の実践者として、どのタイプのモデルでもオーバーフィッティングが発生する可能性があると言えます。MaxEnt も例外ではありません。

おそらく尋ねるべき質問は、「オーバーフィッティングとは何か、その原因は何か?」ということです。

チェックアウト:オーバーフィッティングと適切な予測の見分け方

オーバーフィッティングは、あまりにも多くの係数を推定しようとしている場合、またはより一般的には、作業しているトレーニング データの量を考えると柔軟性が高すぎるモデルを使用している場合に発生する傾向があります。その結果、モデルはデータ内のノイズを「学習」し、サンプルからの予測精度が低下します。

オーバーフィッティングに対処するには 2 つの方法があります。(1) より多くのトレーニング データを取得するか、(2) モデルの複雑さを軽減します。正則化はカテゴリ (2) に分類され、「複雑な」ソリューションにペナルティを課すことによって機能し、それによって分散が減少します。「複合」の意味は機種によって異なります。

オーバーフィッティングと正則化に関する資料は、オンラインやイントロ ML の教科書にたくさんあります。分かりやすい説明が必要な場合は、Abu-Mostafa による Learning from Data をお勧めします。