6

私はニューラル ネットワークに不慣れで、問題を把握するために、基本的なフィードフォワード MLP を実装しました。現在、逆伝播によってトレーニングしています。より洗練されたより良い方法があることは承知していますが、Introduction to Machine Learningでは、1 つまたは 2 つのトリックを使用すると、基本的な勾配降下法が現実世界のデータから学習するのに効果的であることが示唆されています。トリックの 1 つは適応学習率です。

考え方としては、誤差が小さくなると学習率を定数 a だけ増やし、誤差が大きくなると学習率の分数bだけ減らすというものです。したがって、基本的に学習率の変化は次のように決定されます。

+(a)

正しい方向に学習している場合

-(b * <learning rate>)

私たちが学習を台無しにしている場合。ただし、上記の本には、これらのパラメーターの設定方法に関するアドバイスはありません。パラメーターの調整はそれ自体が全体のトピックであるため、正確な提案は期待できませんが、少なくともその大きさについてのヒントにすぎません。何か案は？

ありがとう、
トゥヌズ

4

1 に答える 1

6

私は長い間 (10 年以上) ニューラル ネットワークを見ていませんでしたが、あなたの質問を見た後、すぐに調査したいと思いました。増加（ a）および減少（b）係数（それぞれ1.2および0.5 ）に関連して、インターネット全体で同じ数字を見続けました。

私はこれらの値を Martin Riedmiller と Heinrich Braun のRPROP アルゴリズム(1992) まで追跡することができました。Riedmiller と Braun は、適切なパラメーターの選択について非常に具体的です。

参照: RPROP: 高速適応学習アルゴリズム

これが役立つことを願っています。

于 2011-09-12T22:43:37.667 に答える