単純な再帰型ニューラル ネットワーク (7 つのニューロン、それぞれが最初はすべてのニューロンに接続されている) を作成し、遺伝的アルゴリズムを使用してトレーニングして、1/(1+x^2) のような「複雑な」非線形関数を学習しました。トレーニング セットとして、[-5,5] の範囲内で 20 個の値を使用しました (20 個以上を使用しようとしましたが、結果は劇的に変化しませんでした)。
ネットワークはこの範囲をかなりよく学習でき、この範囲内の他の点の例が与えられると、関数の値を予測できます。ただし、正しく推定できず、[-5,5] の範囲外の関数の値を予測できません。その理由は何ですか? 外挿能力を向上させるにはどうすればよいですか?
ありがとう！
ニューラル ネットワークは外挿法ではありません (リカレントかどうかに関係なく)。これは完全に機能を超えています。それらは、提供されたデータに関数を適合させるために使用され、トレーニング ポイントが入力された部分空間の外でモデルを完全に自由に構築できます。したがって、あまり厳密ではない意味で、それらは補間方法と考える必要があります。
明確にするために、ニューラル ネットワークは、トレーニング サンプルがまたがる部分空間内の関数を一般化できる必要がありますが、外部ではできません。
ニューラル ネットワークはトレーニング サンプルとの一貫性という意味でのみトレーニングされますが、外挿はまったく別のものです。「H.Lohninger: Teach/Me Data Analysis, Springer-Verlag, Berlin-New York-Tokyo, 1999. ISBN 3-540-14743-8」の簡単な例は、このコンテキストで NN がどのように動作するかを示しています。
これらのネットワークはすべてトレーニング データと一致していますが、このサブスペースの外部では何でも実行できます。
問題の定式化を再考する必要があります。回帰または分類の問題として表現できる場合は、NN を使用できます。そうでない場合は、まったく異なるアプローチを検討する必要があります。
トレーニングセットの外で起こっていることを何らかの形で「修正」するためにできる唯一のことは、次のことです。
上記の 2 つのステップを組み合わせることで、ある程度「外挿」するモデルを構築するのに役立ちますが、前述のように、これはニューラル ネットワークの目的ではありません。
私の知る限り、これはechoプロパティを持つネットワークでのみ可能です。Scholarpedia.org のEcho State Networksを参照してください。
これらのネットワークは、任意の信号学習用に設計されており、その動作を記憶できます。
このチュートリアルもご覧ください。