tensorflow - tensorflow でのマルチ GPU CIFAR10 の例: 総損失

Question

tensorflow multi-gpu CIFAR 10 exampleでは、GPU ごとに損失を計算します (行 174-180 ) 。

for i in xrange(FLAGS.num_gpus):
  with tf.device('/gpu:%d' % i):
    with tf.name_scope('%s_%d' % (cifar10.TOWER_NAME, i)) as scope:
      loss = tower_loss(scope)

数行下（246行目）の場合、次のように評価さlossれます

_, loss_value = sess.run([train_op, loss])

どの損失が正確に計算されますか?

関数を確認しましtower_lossたが、すべての GPU (タワー) での増分集計は見られません。

グラフ全体が (すべての GPU で) 実行されていることは理解していますが、返される損失の値は何ですか? loss最後の GPUのみ？loss実際の変数に集計が表示されません。