tensorflow - TensorFlow: アンプーリング

Question

Deconvolutional Networks のアンプーリングを行う TensorFlow ネイティブ関数はありますか?

これは普通のpythonで書いたのですが、TensorFlowに変換しようとすると複雑になり、今のところオブジェクトがアイテムの代入すらサポートしていないので、TFでは大変不便だと思います。

Answer 1

平均的なアンプーリング操作のようなイメージのサイズ変更 (バイリニア補間または最近傍) を使用する必要があり、非常に遅いため、イライラする公式のアンプーリング レイヤーはまだないと思います。'image' セクションの tf api を見てください。

Tensorflow には maxpooling_with_argmax 機能があり、maxpooled 出力とアクティベーション マップを取得できます。これは、「失われた」空間情報を保持するためにアンプーリング レイヤーで使用できるので便利ですが、そのようなアンプーリング操作はないようです。それをします。彼らはそれを追加することを計画していると思います...すぐに。

編集: 1 週間前に Google のディスカッションで、このようなものを実装しているように見える人を見つけましたが、個人的にはまだ試していません。 https://github.com/ppwwyyxx/tensorpack/blob/master/tensorpack/models/pool.py#L66

Answer 2

最大アンプーリング操作を探していて、実装してみました。私はCUDAに苦労していたので、gradientのハックな実装を思いつきました。

コードはこちらにあります。GPU をサポートするソースからビルドする必要があります。以下はデモアプリケーションです。ただし無保証！

この操作には未解決の問題もあります。

import tensorflow as tf
import numpy as np

def max_pool(inp, k=2):
    return tf.nn.max_pool_with_argmax_and_mask(inp, ksize=[1, k, k, 1], strides=[1, k, k, 1], padding="SAME")

def max_unpool(inp, argmax, argmax_mask, k=2):
    return tf.nn.max_unpool(inp, argmax, argmax_mask, ksize=[1, k, k, 1], strides=[1, k, k, 1], padding="SAME")

def conv2d(inp, name):
    w = weights[name]
    b = biases[name]
    var = tf.nn.conv2d(inp, w, [1, 1, 1, 1], padding='SAME')
    var = tf.nn.bias_add(var, b)
    var = tf.nn.relu(var)
    return var

def conv2d_transpose(inp, name, dropout_prob):
    w = weights[name]
    b = biases[name]

    dims = inp.get_shape().dims[:3]
    dims.append(w.get_shape()[-2]) # adpot channels from weights (weight definition for deconv has switched input and output channel!)
    out_shape = tf.TensorShape(dims)

    var = tf.nn.conv2d_transpose(inp, w, out_shape, strides=[1, 1, 1, 1], padding="SAME")
    var = tf.nn.bias_add(var, b)
    if not dropout_prob is None:
        var = tf.nn.relu(var)
        var = tf.nn.dropout(var, dropout_prob)
    return var


weights = {
    "conv1":    tf.Variable(tf.random_normal([3, 3,  3, 16])),
    "conv2":    tf.Variable(tf.random_normal([3, 3, 16, 32])),
    "conv3":    tf.Variable(tf.random_normal([3, 3, 32, 32])),
    "deconv2":  tf.Variable(tf.random_normal([3, 3, 16, 32])),
    "deconv1":  tf.Variable(tf.random_normal([3, 3,  1, 16])) }

biases = {
    "conv1":    tf.Variable(tf.random_normal([16])),
    "conv2":    tf.Variable(tf.random_normal([32])),
    "conv3":    tf.Variable(tf.random_normal([32])),
    "deconv2":  tf.Variable(tf.random_normal([16])),
    "deconv1":  tf.Variable(tf.random_normal([ 1])) }


## Build Miniature CEDN
x = tf.placeholder(tf.float32, [12, 20, 20, 3])
y = tf.placeholder(tf.float32, [12, 20, 20, 1])
p = tf.placeholder(tf.float32)

conv1                                   = conv2d(x, "conv1")
maxp1, maxp1_argmax, maxp1_argmax_mask  = max_pool(conv1)

conv2                                   = conv2d(maxp1, "conv2")
maxp2, maxp2_argmax, maxp2_argmax_mask  = max_pool(conv2)

conv3                                   = conv2d(maxp2, "conv3")

maxup2                                  = max_unpool(conv3, maxp2_argmax, maxp2_argmax_mask)
deconv2                                 = conv2d_transpose(maxup2, "deconv2", p)

maxup1                                  = max_unpool(deconv2, maxp1_argmax, maxp1_argmax_mask)
deconv1                                 = conv2d_transpose(maxup1, "deconv1", None)


## Optimizing Stuff
loss        = tf.reduce_sum(tf.nn.sigmoid_cross_entropy_with_logits(deconv1, y))
optimizer   = tf.train.AdamOptimizer(learning_rate=1).minimize(loss)


## Test Data
np.random.seed(123)
batch_x = np.where(np.random.rand(12, 20, 20, 3) > 0.5, 1.0, -1.0)
batch_y = np.where(np.random.rand(12, 20, 20, 1) > 0.5, 1.0,  0.0)
prob    = 0.5


with tf.Session() as session:
    tf.set_random_seed(123)
    session.run(tf.initialize_all_variables())

    print "\n\n"
    for i in range(10):
        session.run(optimizer, feed_dict={x: batch_x, y: batch_y, p: prob})
        print "step", i + 1
        print "loss",  session.run(loss, feed_dict={x: batch_x, y: batch_y, p: 1.0}), "\n\n"

---

編集 29.11.17

少し前に、TensorFlow 1.0 に対してクリーンな方法で再実装しました。フォワード操作は CPU バージョンとしても利用できます。このブランチで見つけることができます。使用したい場合は、最近のいくつかのコミットを調べることをお勧めします。