私はこれまで見たことのない非線形回帰アルゴリズムのアイデアを思いつきました。
最急降下法を使用して、動径基底関数などの単純なパラメトリック関数をデータに適合させます。これから残余を見つけ、関数をこれに適合させ、このプロセスを繰り返してエラーを減らし、重ね合わせた関数のコレクションを構築します。（最初に最も多くのポイントに適合する関数を見つけるように検索を説得できると思います）
提示されているように、このアルゴリズムは過剰適合します。これを克服する方法はいくつかあると思いますが、おそらく最も明白なのは、適合する関数の数を制限することです。
一度に多くのパラメータを調整する必要がないため、ニューラルネットワークやrbfネットワークよりも高速である必要があると思います。選択するネットワークアーキテクチャはありません。M5などの決定木アルゴリズムよりも正確である必要があります。これは、連続曲線をより厳密に追跡でき、分割する属性を選択する必要がないためです。
以前に試したことはありますか？もしそうなら、なぜそれは成功しなかったのですか？
1..n関数のパラメーターをフィッティングしながらステップでフィッティングされた関数のパラメーターを修正することにより、すべての関数を同時にn+1フィッティングする場合よりも、最悪のフィッティング (平均二乗誤差によって定義されるなど) が見つかる可能性が高くなります。n+1したがって、すべてのn+1関数を同時に「フローティング」のままにする場合と比較して、提案で同じ平均二乗誤差を達成するには、おそらくより多くの関数が必要になります。
オーバーフィッティングを防ぐために、Cross Validationのようなものを使用する必要があります。たとえば、フィッティングで使用されていないテスト サンプルの平均二乗誤差が減少しなくなったらすぐに、関数の追加を停止します。
これは間違いなくhttp://metaoptimize.com/qa (機械学習コミュニティのスタックオーバーフロー クローン) にとっての質問です。
それはさておき、あなたが説明する手順は基本的に正則化を行う方法です。たとえば、L1 または L2 回帰項で数百万の RBF を使用する場合と比較して、手順を検討してください。明らかに、回帰項が機能する方法だけが異なります。基本的に行っているのは、合計または平方和ではなく、ゼロ以外の重みの数のみの正則化です。
この正則化の方法は新しいものではなく、人々は長い間これを効果的に行おうとしてきましたが、問題はそれが凸状でも連続的でもないことです。これは、最適化が一般的に NP 困難であることを意味します。あなたのテクニックは基本的にこの問題の近似アルゴリズムであり、いくつかの例ではうまくいくかもしれませんが、最適性の保証はなく（適合する「最良の」N rbfsを見つける）、選択した開始点に非常に敏感になります. 上位の会議やジャーナルで研究論文がこれを行っているのを通常見ないのはこれらの理由からであり、より効果的に L1 正則化を試みています。
留数に基づいて関数を繰り返しフィッティングするというアイデアは新しいものではありません。たとえば、AdaBoostを参照してください。