machine-learning - ニューラル ネットワークのローカル オプティマに行き詰まる必要がある

Question

フィード フォワード ニューラル ネットワークのローカル オプティマに行き詰まる必要があります。例と、最急勾配降下法を使用するとローカル オプティマでスタックする重みの初期化が必要です (各次元の特定の境界重み内)。そのような例を見つけることができません。少なくともそう思われるため、新しいアルゴリズムをテストすることはできません。

誰かがいくつかのドキュメント、リソースを指摘したり、ローカルオプティマで立ち往生する方法の例を提供したりできますか.

Answer 1

「ローカルオプティマに行き詰まる」とはどういう意味かを分析してみましょう。SARPROPの論文をご覧ください。SARPROP は、フィード フォワード ニューラル ネットワークの学習アルゴリズムであり、局所最適に陥らないようにすることを正確に目標としています。リンクされた文書の 3 ページにある図 1 を見てください。ひとつの重みについての誤差曲面を示します. トレーニングの初期段階で、このエラー サーフェスは急速に変化します。しかし、アルゴリズムが収束に近づくとすぐに、1 つの重みに関するこのエラー サーフェスは安定します。学習アルゴリズムがより良い最適値に到達するために「丘」を越えて重みを「押す」ことができない場合、特定の重みに関して局所的な最適値にとどまっています。SARPROP は、元の RPROP に含まれる重みの更新に正のノイズを追加することで、これを解決しようとします。したがって、アルゴリズムはそのような「谷」から押し出される可能性があります。

ここで、局所最適で収束を構築するには、以下で固定されたままの一連のランダムな重みを計算する必要があります。ここで、RPROP などのローカル最適にすばやく収束することが知られている学習アルゴリズムを使用します。次に、同じ重みの初期化を使用して、SARPROP または新しいアルゴリズムを適用します。次に、ネットワークが収束したらすぐにトレーニング データの二乗平均平方根誤差などを比較します。数百回の重みの初期化でこれを行い、統計を適用します。