machine-learning - XOR に必要な最小反復ニューラル ネットワーク

Question

標準的なバックプロップが xor 問題を解決するために必要なトレーニング セットへの露出の最小数は? 別のタイプのニューラル ネットはそれをより速く解決しますか?

最適なセットアップは何ですか (隠れ層ノードの数、学習率)?

ありがとう！

Answer 1

ネットワークレイアウト、学習率、および正則化パラメーターを使用する場合は、それらによって異なります。

また、バックプロパゲーションネットワークではランダムに初期化する必要があるため、ネットワークの初期の重みで幸運または不幸になる可能性があります。ただし、誤って極小値に近づいて開始する可能性はわずかです。

XOR関数の場合、2つのノードを持つ単一の隠れ層で十分です。

バイアスノードは必要ありません。XOR関数では通常、過剰適合は問題にならないため、正則化も必要ありません。
学習率に関しては、頭のてっぺんから0.05が良いですが、それについての確固たる証拠はありません。少し実験して、より良い値を見つけることができるかどうかを確認してください。

このテーマは、Courseraの「機械学習」コースで非常に直感的に説明されています。あなたは彼らのプレビューサイトでビデオをチェックしたいかもしれません。そのページの「ニューラルネットワーク：学習（第5週）」セクションを探してください。