2

TensorFlow を使用して単純な畳み込みニューロン ネットワークを作成しました。入力画像をエッジ = 32px で使用すると、ネットワークは正常に動作しますが、エッジを 2 倍にして 64px にすると、エントロピーが NaN として返されます。問題は、それを修正する方法ですか？

CNN 構造は非常に単純で、次のようになります 。input->conv->pool2->conv->pool2->conv->pool2->fc->softmax

エントロピーは次のように計算されます。

prediction = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)
cross_entropy = tf.reduce_mean(-tf.reduce_sum(ys * tf.log(prediction), reduction_indices=[1]))       # loss
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
train_pred = tf.equal(tf.argmax(prediction, 1), tf.argmax(ys, 1))
train_accuracy = tf.reduce_mean(tf.cast(train_pred, tf.float32))

64px の場合:

train_accuracy=0.09000000357627869, cross_entropy=nan, test_accuracy=0.1428571492433548
train_accuracy=0.2800000011920929, cross_entropy=nan, test_accuracy=0.1428571492433548
train_accuracy=0.27000001072883606, cross_entropy=nan, test_accuracy=0.1428571492433548

32px の場合は問題なく表示され、トレーニングにより結果が得られます。

train_accuracy=0.07999999821186066, cross_entropy=20.63970184326172, test_accuracy=0.15000000596046448
train_accuracy=0.18000000715255737, cross_entropy=15.00744342803955, test_accuracy=0.1428571492433548
train_accuracy=0.18000000715255737, cross_entropy=12.469900131225586, test_accuracy=0.13571429252624512
train_accuracy=0.23000000417232513, cross_entropy=10.289153099060059, test_accuracy=0.11428571492433548
4

1 に答える 1

2

私の知る限り、log(0)を計算するとNANが発生します。私も同じ問題を抱えていました。

tf.log(prediction) #This is a problem when the predicted value is 0.

これは、予測に少しノイズを追加することで回避できます (関連 1、関連 2 )。

tf.log(prediction + 1e-10)

または、テンソルフローのclip_by_value関数を使用して、渡されたテンソルの最小値と最大値を定義します。このようなもの（ドキュメント）：

tf.log(tf.clip_by_value(prediction, 1e-10,1.0))

それが役に立てば幸い。

于 2016-07-27T14:24:11.137 に答える