tensorflow - Google Cloud ML の記憶喪失: 分散学習

Question

Google Cloud ML でトレーニングした 2 つのモデル バージョンがあります。1 つは 2 つのワーカーを使用し、もう 1 つはマスター ノードのみを使用します。ただし、分散モードでトレーニングした後は、再現率が大幅に低下します。約 2000 ステップで提供されているサンプル例に従いました (ワーカーとマスターの両方がステップに貢献しています)。

マスターのみ

RECALL metrics:  0.352357320099
Accuracy over the validation set:  0.737576772753

マスターと 2 人のワーカー

RECALL metrics:  0.0223325062035
Accuracy over the validation set:  0.770519262982

Answer 1

覚えておくべき一般的な考え方は、ワーカーの数を増やすと、有効なバッチ サイズも大きくなるということです (各ワーカーは、ステップごとに N 個のサンプルを処理します)。

これを考慮するには、他のハイパーパラメーターの調整を検討する必要があります。小さい学習率を選択して、ステップごとの変化量を減らしてみてください。したがって、モデルとデータによっては、同じ収束に到達するために、ステップ数を何らかの係数で増やす必要がある場合もあります。