machine-learning - ニューラルネットワークをトレーニングするときのエポックとイテレーション

Question

多層パーセプトロンをトレーニングするときのエポックと反復の違いは何ですか?

Answer 1

多くのニューラル ネットワーク トレーニング アルゴリズムでは、データ セット全体をニューラル ネットワークに複数回提示します。多くの場合、データセット全体の単一のプレゼンテーションは「エポック」と呼ばれます。対照的に、一部のアルゴリズムは、一度に 1 つのケースでニューラル ネットワークにデータを提示します。

「反復」はより一般的な用語ですが、「エポック」と一緒に質問されたので、ソースはニューラルネットワークへの単一のケースの提示について言及していると思います.

Answer 2

シャッフルしてミニバッチを選択するトレーニング データがあります。1 つのミニバッチを使用して重みとバイアスを調整すると、1 回の反復が完了します。

ミニバッチを使い果たすと、エポックが完了します。次に、トレーニング データをもう一度シャッフルし、ミニバッチをもう一度選択して、それらすべてをもう一度繰り返します。それがあなたの第二の時代です。

Answer 3

通常、ネットワークが学習できるようにテストセットを小さなバッチに分割し、最急降下法を適用して、層の数を段階的にトレーニングします。これらの小さなステップはすべて、反復と呼ぶことができます。

エポックは、ネットワーク全体を1回通過するトレーニングセット全体に対応します。これを制限すると便利な場合があります。たとえば、過剰適合と戦う場合などです。

Answer 4

私の理解では、NNをトレーニングする必要がある場合、多くのデータ項目を含む大規模なデータセットが必要です。NNがトレーニングされているとき、データ項目は1つずつNNに入ります。これは、反復と呼ばれます。データセット全体が通過するとき、それはエポックと呼ばれます。

Answer 5

反復は、バッチ SGD の単一のバッチ forward+backprop に相当すると思います。エポックはデータセット全体を 1 回処理します (他の誰かが述べたように)。

Answer 6

エポックにはいくつかの反復が含まれます。それがまさにこのエポックです。ニューラル ネットワークをトレーニングするために、エポックをデータ セットの反復回数として定義しましょう。