machine-learning - 学習率を使用した SGD 収束テスト

Question

Hugo Larochelle によるこの講義の 8 分目に提示された収束テストについて説明できる人はいますか?

Answer 1

これらの条件により、収束が漸近的に保証されます。この場合、近似解を無限回更新できるはずです。直感的に、これを達成するには、学習率を常にゼロより大きくする必要があります。最初の条件は、学習率が常に 0 より大きいことを意味または暗示します。

一方、近似解を「無限に更新」することに加えて、最適解に近づくことに関心があります。これを達成するには、学習率をどんどん小さくする必要があります。2 番目の条件は、アルファ パラメータが単調に減少することを意味します。

両方の条件は、SGD だけでなく、他の多くの確率的近似法でも必要です。Robbins-Monro アルゴリズムにより、Robbins-Monro 条件と呼ばれることもあります。