強化学習アルゴリズムで値関数を近似するためにニューラル ネットワークを使用する予定です。状態とアクションを表現する方法に一般化と柔軟性を導入するために、これを行いたいと考えています。
現在、ニューラル ネットワークはそれを行うための適切なツールであるように見えますが、私は AI の専門家ではないため、ここでの可視性は限られています。特に、ニューラル ネットワークは最近、サポート ベクター マシンなどの他の技術に取って代わられているようですが、これがファッションの問題なのか、それともニューラル ネットワークに私のアプローチを破滅させる可能性のある実際の制限があるのか はわかりません。何か提案はありますか？
ありがとう、
トゥヌズ
確かに、ニューラルネットワークはかつてのように流行していませんが、ほとんど死んでいません。それらが支持されなくなった一般的な理由は、サポートベクターマシンの台頭でした。なぜなら、それらはグローバルに収束し、必要なパラメーター仕様が少ないためです。
ただし、SVMは実装に非常に負担がかかり、ANNのように強化学習に自然に一般化することはありません（SVMは主にオフラインの決定問題に使用されます）。
強化学習の領域内では、ANNは依然としてパフォーマンスの最前線にいるため、タスクが1つに適していると思われる場合は、ANNに固執することをお勧めします。
ここから始めるのが最適です; ANNが強化学習の問題を解決する標準的な方法であるため、「時間差学習」というタイトルのセクションを確認してください。
ただし、注意点が1つあります。機械学習の最近の傾向は、バギングやブースティングを介して多くの多様な学習エージェントを一緒に使用することです。強化学習ではこれをあまり見ていませんが、この戦略を採用することは、ANNだけの場合よりもはるかに強力であると確信しています。しかし、本当にワールドクラスのパフォーマンスが必要でない限り（これがnetflixの競争に勝ったものです）、私はこの非常に複雑なテクニックを避けたいと思います。
ニューラルネットワークは一種の復活を遂げているように私には思えます。たとえば、今年のICML 2011には、ニューラルネットワークに関する多数の論文がありました。私は絶対にそれらをアバンダンウェアとは見なしません。そうは言っても、強化学習には使用しません。
理論的には、ニューラル ネットワークが任意の関数を近似できることが証明されているため (無限の数の隠れニューロンと必要な入力が与えられた場合)、ニューラル ネットワークが放棄されることはないと思います。
SVM は優れていますが、すべてのアプリケーションに使用できるわけではありませんが、ニューラル ネットワークはあらゆる目的に使用できます。
ニューラル ネットワークを強化学習と組み合わせて使用することは標準的でよく知られていますが、ニューラル ネットワークの収束をプロットおよびデバッグして正しく動作することを確認するように注意してください。
また、ニューラル ネットワーク (つまり、入力ノード) に与える問題の表現にも十分注意してください。ネットに入力として与えるものを考慮して、あなたまたは専門家は問題を解決できますか? 多くの場合、ニューラル ネットワークを実装している人は、ニューラル ネットワークが推論するのに十分な情報を提供しません。これはそれほど珍しいことではないので、注意してください。
ニューラル ネットワークは、複雑な関数を近似する一般的な方法として適切ですが、特定の学習タスクに最適な選択肢となることはめったにありません。それらは設計が難しく、収束が遅く、極小値にとらわれます。
ニューラル ネットワークの経験がない場合は、RL を一般化するより簡単な方法 (粗いコーディングなど) を使用したほうがよいでしょう。