問題タブ [regularized]

正規化とバイアスがカフェでどのように機能するかについて、たくさんの質問があります。

まず、ネットワークにはデフォルトでバイアスが存在しますよね？または、追加するようにカフェに依頼する必要がありますか?

第二に、損失値を取得するとき、正則化を考慮しません。それは正しいですか？つまり、損失には損失関数の値が含まれているだけです。私が理解したように、勾配計算で正則化を考慮するだけです。そうですか？

第三に、caffe が勾配を取得するとき、正則化でもバイアス値を考慮しますか? それとも、正則化でネットワークの重みを考慮するだけですか?

前もって感謝します、

アフシン

正則化は通常、大きな重みにペナルティを課すために損失に k*w^2 を追加することを理解しています。しかし、Keras には、weight_regularizer と activity_regularizer という 2 つの正則化パラメーターがあります。違いはなんですか？

Keras と LSTM および Timedistributed レイヤーを使用して、2 つの時系列を一度にモデル化しようとしています。私が検討しているデータは、ガウス ノイズが追加された 2 つのコサイン波を使用した回帰セットアップです。ただし、モデルはサンプル外の予測に多くの問題を抱えています。これは予想されることですか、それともレイヤーが少なすぎますか?

以下の出力では、青い円はトレーニング データ、緑の四角はトレーニング データの予測値、赤い四角はテスト データ、青い三角形はテスト データの予測値です。モデルがトレーニング データにオーバーフィットし、データの基になる構造が見つからないことは明らかです。正規化も試してみましたが、成功しませんでした。