問題タブ [multi-layer]

私は初心者で、学校の目的で C# に Backpropagation を実装しようとしています (したがって、今のところ tensorflow はありません。手動で学習する必要があります)。入力層に 64 個のノード、出力層に 64 個のノードがあります。後で MLP について説明するため、Autoencoder 構造のようなものです。

デルタ出力を次のように計算しています。

プログラムを XOR 入出力シナリオでテストしたところ、このシナリオでは正しく推測されますが、入出力の 64 ノードすべてを配置すると、正しい予測 (0% 精度など) が得られません。

また、すべての delta_out abs(delta_out) を合計しようとしています。XOR シナリオでは、トレーニングが進むにつれて delta_out の絶対合計がゼロに近づいています。しかし、64 の入力と出力のテストを選択すると、すべての delta_out の絶対合計は非常に小さい数値から始まり、そこにとどまります。

適切に機能する XOR (問題なく機能する OR テストと AND テストも試しました) については、入力用に 2 ノード、非表示用に 4 ノード、出力用に 1 ノードの次の構造を使用しました。

64 の入力と出力について、8 ノードから 128 ノードまで、さまざまな数のノードを非表示層にテストしました。非表示レイヤーに 64 個以上のノードを使用すると、最初からすべての delta_out の絶対合計が 0 に近くなり、変化が遅すぎます。

また、さまざまな学習率 (非表示層と出力層の異なる学習率) もテストしました。0.1 から 0.75 までテストしましたが、達成すべき 64 の入力/出力には役立たないようです。また、エポック数を 100k から 500k に変更しましたが、何も役に立たないようです。

バックプロパゲーションの概念をよく理解していないのでしょうか。

5 つの属性と 3310 のインスタンス (隠しレイヤー = a) を 70% のパーセンテージ分割で使用していますが、何時間もそのままにしておいて、まだ「トレーニング データでモデルを構築中」のままです。これは正常ですか？完了するまでどのくらい待つことができますか。

より速く実行するためにできることはありますか？