問題タブ [loss]

収束していないトレーニング損失の問題が発生しています。(バッチサイズ: 16、平均損失: 10)。私は次の方法を試しました+学習率lrを変化させます（初期lr = 0.002はe + 10前後の非常に高い損失を引き起こします）。次に、lr = e-6 では、損失は小さいように見えますが、収束しません。+ バイアスの初期化を追加 + バイアスと重みの正則化を追加

これはネットワーク構造 とトレーニング ロス ログです。

ご連絡をお待ちしております

私はテンソルフローでニューラルネットワークを書き始めましたが、サンプルプロジェクトのそれぞれに直面しているように見える問題が1つあります。

私の損失は常に 50 かそれ以上から始まり、減少しないか、減少したとしてもゆっくりと減少するため、すべてのエポックの後、許容可能な損失率に近づくことさえできません。

すでに試したこと（結果に大きな影響はありませんでした）

• 過適合でテストされていますが、次の例では、15000 のトレーニングと 15000 のテスト データセット、および 900 のニューロンのようなものがあることがわかります
• さまざまなオプティマイザーとオプティマイザー値をテストしました
• テストデータをトレーニングデータとしても使用して、トレーニングデータを増やしてみました
• バッチサイズを増減してみました

https://youtu.be/vq2nnJ4g6N0の知識でネットワークを作成しました

しかし、私のテストプロジェクトの1つを見てみましょう:

名前のリストがあり、性別を仮定したかったので、生データは次のようになります。

それをネットワークに供給するために、名前をcharCodeの配列に変換し（最大長は30を想定）、性別をビット配列に変換します

出力層として [30,20]、[20,10]、[10,10]、[10,2] の 3 つの隠れ層を持つネットワークを構築しました。すべての隠れ層には活性化関数として ReLU があります。出力層にはソフトマックスがあります。

次に、損失、精度、およびトレーニング操作の計算を行います。

100 のバッチでネットワークをトレーニングします

そして、次の結果が得られます。

私は何を間違っていますか？

私のプロジェクトで ~69 から始まり、それ以下にならないのはなぜですか?

どうもありがとうございました！

Keras で NN を構築しており、Theano バックエンドを使用しています。

コード：

上記のパラメーターを使用してこのモデルをコンパイルして保存すると、読み込まれたモデルはトレーニング構成 (損失、最適化) を保持しますか?

K.function(...) メソッドを使用してコスト (損失) を計算するため、これはモデルの構成に何らかの影響を与えますか?

これまでのところ、再開されたモデルの構成が保存されたものと同じかどうかを確認する方法を見つけることができませんでした。それで、ネットワーク構成を印刷して、それが適切に復元されたかどうか、つまり、保存されたのとまったく同じ構成とパラメータで確認する方法はありますか?

日中取引で日次損失限度額を見つけるための afl コードを実装したいと考えています。このコードを約 200 日間のバックテストに使用します。次のコードがありますが、間違いがあります。

どんな助けでも大歓迎です。ありがとう。