問題タブ [function-approximation]

私は田中雅之が開発したディープ ニューラル ネットワーク ツールボックスを次のリンクで使用しています。

今、私は深層信念ネットワークを使って関数近似をしようとしています。しかし、結果はあまり良くありません。以下は私のスクリプトコードです。フィッティング結果を改善するためにどの部分を変更できるかを誰かが理解できますか?

DBN 学習結果:

関数 f(X)=y を近似するニューラル ネットワークに取り組んでいます。X はベクトル [x0, .., xn] で、y は [-inf, +inf] です。この近似関数は、約 1e-8 の精度 (誤差の合計) を持つ必要があります。実際、オーバーフィットするにはニューラル ネットワークが必要です。

X は、間隔 -500 と 500 のランダムなポイントで構成されています。これらのポイントを入力レイヤーに入れる前に、[0, 1] の間で正規化しました。

次のようにケラスを使用します。

Relu活性化関数で[n]→[2]→[1]、次に[n]→[128]→[64]→[1]という別のNNを試してみました。SGB Optimizer を試し、学習率を 1e-9 から 0.1 にゆっくりと上げました。データを正規化せずに試してみましたが、この場合、損失が非常に大きくなります。

私の最高の損失 (MSE) は、現在のセットアップで 0.037 ですが、目標 (1e-8) には程遠いです。

まず、私が何か間違ったことをしたかどうかを知りたいです。元気ですか？そうでない場合、どうすれば目標を達成できますか?

どうもありがとうございます

#2 を試す

この新しい構成を試しました：

50 要素のサンプルでは、​​batch_size は 10 で、100000 エポックの間。1e-4 前後の損失が発生します。

#3 を試す

batch_size=1000 エポック=1e5

結果: 約 1.e-7 の損失