machine-learning - seq2seq tensorflow RNN トレーニング モデルの最大バッチ サイズを決定する方法

Question

現在、seq2seq tensorflow モデルのバッチ サイズとしてデフォルトの 64 を使用しています。Haswell-E xeon 128GB RAM を搭載した 12 GB RAM を搭載した単一の Titan X GPU で使用できる最大バッチ サイズ、レイヤー サイズなどを教えてください。入力データは埋め込みに変換されます。以下は、私が使用しているいくつかの役立つパラメーターです。セルの入力サイズは 1024 のようです。

encoder_inputs: a list of 2D Tensors [batch_size x cell.input_size].
 decoder_inputs: a list of 2D Tensors [batch_size x cell.input_size].
 tf.app.flags.DEFINE_integer("size", 1024, "Size of each model layer.")

私のハードウェアに基づいて、最大のバッチサイズ、レイヤー、入力サイズはどれくらいですか? 現在、GPU は 99% のメモリが占​​有されていることを示しています。

Answer 1

前の回答を少し詳しく説明すると、モデルの正確な最大 RAM 消費量を分析的に予測することは困難です。これは、TF ランタイムには独立した操作を同時にスケジュールする自由があるためです。そうすることで、同じ操作を実行するよりも最大 RAM 使用量が高くなる可能性があります。順次。オペレーションのスケジューリングは動的であるため、トレーニング ステップで使用される RAM の最大量は、ステップごとに非決定論的に変化する可能性があります。実際には、自明ではないモデルの場合、一貫して機能する最大のバッチ サイズを見つけるために実験する必要があるようです。