問題タブ [dropout]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - Tensorflow: 検証予測は各画像で同じになります
次の問題があります。
tensorflow で 3d CNN をトレーニングしようとしています。データをトレーニング、検証、テストの 3 つのデータセットに分けました。
主な問題は、5 エポックのトレーニング後に検証セットをテストすると、モデルの出力が 5 つの画像でほぼ同じになることです。(これは、ソフトマックスのない最後のレイヤーの出力です)
ただし、トレーニング セットに対して同じことを行うと、従来の予測が得られます。
データセットを完全にチェックしましたが、どちらも正しく、同じ条件です。
これは、モデルを構築してトレーニングを行うために使用した私のモードです。
クラス Cnn3DMRI(オブジェクト):
私はすでに tf.set_random_seed( 1 ) を試しましたが、修正は見られません
どなたかアイデアをお持ちですか？
本当にありがとう
22/04/18 編集:
分類するデータは、バイクラス問題で 150x150x40 ピクセルの 3D 画像です。各クラスの約半分の合計 400 枚の画像があります。データセットをトレーニング (75%)、検証 (10%)、テスト (15%) に分けました。
Edit2: モデルを少し単純化しました。見上げる
また、クラスが2つしかないことにも言及してください
20 枚の画像のみでモデルをトレーニングした別のチェックを試みました。0 コストが得られるかどうかを確認します。
125 エポック後の結果:
2018-04-24 23:58:24.992421 epoch loss mean: [4549.9554141853, 1854.6537470817566, 817.4076923541704, 686.8368729054928, 687.7348744268759, 704.946801304817, 483.6952783479355, 260.2293045549304, 272.66821688037817, 116.57515235748815, 97.86094704543848, 90.43152131629176, 132.54018089070996, 69.62595339218387, 57.412255316681694, 79.66184640157735, 70.99515068903565, 55.75798599421978 , 44.14403077028692, 38.901107819750905, 49.75594720244408, 52.6321079954505, 37.70595762133598, 42.07099115010351, 29.01994925737381, 28.365123450756073, 31.93120799213648, 43.9855432882905, 33.242121398448944, 36.57513061538339, 28.828659534454346, 29.847569406032562, 24.078316539525986, 31.630925316363573, 30.5430103354156, 26.18060240149498, 32.86780231446028, 25.42889341711998, 29.355055704712868, 26.269534677267075, 24.921810917556286, 27.15281054377556, 27 .343381822109222, 24.293660208582878, 28.212179094552994, 25.07626649737358, 21.650991335511208, 25.7527906447649, 23.42476052045822, 28.350880563259125, 22.57907184958458, 21.601420983672142, 25.28128480911255, 25.550641894340515, 22.444457232952118, 27.660063683986664, 21.863914296031, 25.722180172801018, 24.00674758851528, 21.46472266316414, 26.599679857492447, 23.52132275700569, 26.1786640137434, 24.842691332101822, 25.263965144753456, 22.730938494205475, 22.787407517433167, 23.58866274356842, 25.351682364940643, 23.85272353887558, 23.884423837065697, 24.685379207134247, 22.55106496810913, 25.993630707263947, 21.967322662472725, 22.651918083429337, 21.91003155708313, 23.782021015882492, 21.567724645137787, 22.130879193544388, 21.33636975288391, 25.624440014362335, 23.26347705721855, 22.370914071798325, 22.614411562681198, 24.962509214878082, 22.121410965919495, 20.644148647785187, 24.472172617912292, 21.622991144657135, 21.719978988170624, 21.72349101305008, 21.729621797800064, 22.090826153755188, 21.44688707590103, 22.34817299246788, 22.93226248025894, 22.63547444343567, 22.1306095123291, 22.16277289390564, 22.83771103620529, 24.171751350164413, 22.025538682937622, 21.339059710502625, 22.169043481349945, 24.614955246448517, 22.83159503340721, 21.43451902270317, 21.54544973373413, 22.889380514621735, 24.168621599674225, 21.947510302066803, 22.30243694782257, 22.381454586982727, 22.50485634803772, 22.61657750606537, 22.288170099258423, 21.30070123076439, 22.489792048931122, 21.885000944137573, 21.343613982200623, 23.04211688041687, 24.00969059765339, 21.8588485121727, 22.199619591236115] 2018-04-24 23:58:24.992694 n_epoch: 125622991144657135, 21.719978988170624, 21.72349101305008, 21.729621797800064, 22.090826153755188, 21.44688707590103, 22.34817299246788, 22.93226248025894, 22.63547444343567, 22.1306095123291, 22.16277289390564, 22.83771103620529, 24.171751350164413, 22.025538682937622, 21.339059710502625, 22.169043481349945, 24.614955246448517, 22.83159503340721, 21.43451902270317, 21.54544973373413, 22.889380514621735, 24.168621599674225, 21.947510302066803, 22.30243694782257, 22.381454586982727, 22.50485634803772, 22.61657750606537, 22.288170099258423, 21.30070123076439, 22.489792048931122, 21.885000944137573, 21.343613982200623, 23.04211688041687, 24.00969059765339, 21.8588485121727, 22.199619591236115] 2018-04-24 23:58:24.992694 n_epoch: 125622991144657135, 21.719978988170624, 21.72349101305008, 21.729621797800064, 22.090826153755188, 21.44688707590103, 22.34817299246788, 22.93226248025894, 22.63547444343567, 22.1306095123291, 22.16277289390564, 22.83771103620529, 24.171751350164413, 22.025538682937622, 21.339059710502625, 22.169043481349945, 24.614955246448517, 22.83159503340721, 21.43451902270317, 21.54544973373413, 22.889380514621735, 24.168621599674225, 21.947510302066803, 22.30243694782257, 22.381454586982727, 22.50485634803772, 22.61657750606537, 22.288170099258423, 21.30070123076439, 22.489792048931122, 21.885000944137573, 21.343613982200623, 23.04211688041687, 24.00969059765339, 21.8588485121727, 22.199619591236115] 2018-04-24 23:58:24.992694 n_epoch: 12534817299246788, 22.93226248025894, 22.63547444343567, 22.1306095123291, 22.16277289390564, 22.83771103620529, 24.171751350164413, 22.025538682937622, 21.339059710502625, 22.169043481349945, 24.614955246448517, 22.83159503340721, 21.43451902270317, 21.54544973373413, 22.889380514621735, 24.168621599674225, 21.947510302066803, 22.30243694782257, 22.381454586982727, 22.50485634803772, 22.61657750606537, 22.288170099258423, 21.30070123076439, 22.489792048931122, 21.885000944137573, 21.343613982200623、23.04211688041687、24.00969059765339、21.8588485121727、22.199619591236115] 2018-04-24 23:58:24.992694 1 n_5エポック34817299246788, 22.93226248025894, 22.63547444343567, 22.1306095123291, 22.16277289390564, 22.83771103620529, 24.171751350164413, 22.025538682937622, 21.339059710502625, 22.169043481349945, 24.614955246448517, 22.83159503340721, 21.43451902270317, 21.54544973373413, 22.889380514621735, 24.168621599674225, 21.947510302066803, 22.30243694782257, 22.381454586982727, 22.50485634803772, 22.61657750606537, 22.288170099258423, 21.30070123076439, 22.489792048931122, 21.885000944137573, 21.343613982200623、23.04211688041687、24.00969059765339、21.8588485121727、22.199619591236115] 2018-04-24 23:58:24.992694 1 n_5エポック54544973373413, 22.889380514621735, 24.168621599674225, 21.947510302066803, 22.30243694782257, 22.381454586982727, 22.50485634803772, 22.61657750606537, 22.288170099258423, 21.30070123076439, 22.489792048931122, 21.885000944137573, 21.343613982200623, 23.04211688041687, 24.00969059765339, 21.8588485121727, 22.199619591236115] 2018-04-24 23:58:24.992694 n_epoch: 12554544973373413, 22.889380514621735, 24.168621599674225, 21.947510302066803, 22.30243694782257, 22.381454586982727, 22.50485634803772, 22.61657750606537, 22.288170099258423, 21.30070123076439, 22.489792048931122, 21.885000944137573, 21.343613982200623, 23.04211688041687, 24.00969059765339, 21.8588485121727, 22.199619591236115] 2018-04-24 23:58:24.992694 n_epoch: 125
各レイヤーの印刷出力:
conv1: [[[[[0.0981627107 0.100793235 0.0934509188]]]]...]
max1: [[[[[0.102978 0.107030481 0.0977560952]]]]...]
max2: [[[[[0 0 0.00116439909]]]]...]
変形: [[0 0 0.00116439909]...]
fc: [[0.01167579 0.182256863 0.107154548]...]
fc2: [[0.773868561 0.364259362 0]...]
出力: [[0.16590938 -0.255491495][0.16590938]...]
conv1: [[[[[0.0981602222 0.100800745 0.0934513509]]]]...]
max1: [[[[[0.102975294 0.107038349 0.0977560282]]]]...]
max2: [[[[[0 0 0.000874094665]]]]...]
変形: [[0 0 0.000874094665]...]
fc: [[0.0117974132 0.182980478 0.106876813]...]
fc2: [[0.774896204 0.36372292 0]...]
出力: [[0.129838273 -0.210624188][0.129838273]...]
60 個のサンプルをオーバーフィットするには 125 エポックで十分ではないでしょうか?
何が起こっているかについて何か考えはありますか？
pytorch - pytorch で単語ドロップアウトを実装する
「unk」トークンの埋め込みをトレーニングするための十分なトレーニング例を取得できるように、ネットワークに単語ドロップアウトを追加したいと考えています。私の知る限り、これは標準的な方法です。unk トークンのインデックスが 0 で、パディングのインデックスが 1 であると仮定しましょう (より便利であれば、それらを切り替えることができます)。
これは単純な CNN ネットワークで、単語のドロップアウトを私が期待したとおりに実装しています。
パディングを気にしないでください - pytorch には CNN でゼロ以外のパディングを使用する簡単な方法がなく、トレーニング可能なゼロ以外のパディングがはるかに少ないため、手動で行っています。ドロップアウトでは、ゼロ以外のドロップアウトを使用することもできません。パディング トークンを unk トークンから分離したいと考えています。それがこの質問の存在理由だからです。
私の入力はスケーリングする必要のないロングテンソルですが、ドロップアウトは適切にスケーリングできるようにフロートテンソルを必要とするため、これは機能しません。
pytorchでこれを行う簡単な方法はありますか? 基本的には、LongTensor に適したドロップアウトを使用したいと考えています (おまけ: ゼロ パディングを使用できるように、0 以外のドロップアウト定数を指定できるようにするとよいでしょう)。
machine-learning - SpatialDropout1D を理解する方法と、それをいつ使用するか?
SpatialDropout1Dの代わりに使用しているモデルを時々見かけますDropout。たとえば、品詞のタグ付けニューラル ネットワークでは、次のものが使用されます。
Keras のドキュメントによると、次のように書かれています。
このバージョンは Dropout と同じ機能を実行しますが、個々の要素ではなく 1D フィーチャー マップ全体をドロップします。
しかし、 entrie 1D featureの意味がわかりません。より具体的には、 quoraSpatialDropout1Dで説明されているのと同じモデルで視覚化できません。誰かが quora と同じモデルを使用してこの概念を説明できますか?
また、どのような状況で ?SpatialDropout1Dの代わりに使用しDropoutますか?