google-cloud-ml - Cloud ML Training ジョブが一致するファイルを見つけられない

Question

トレーニング ジョブが次のエラーで失敗しています: NotFoundError: Unsuccessful TensorSliceReader constructor: Failed to find any matching files for gs://my_file_name/train/model.ckpt-2-?????-of-00001 [[Node: save/RestoreV2_29 = RestoreV2[dtypes=[DT_FLOAT], _device="/job:localhost/replica:0/task:0/cpu:0"](_recv_save/Const_0, save/RestoreV2_29/tensor_names, save/RestoreV2_29/shape_and_slices) ]] オペレーション u'save/RestoreV2_29' が原因で、... で定義されています

Google Cloud Storage を確認したところ、そのファイル (gs://my_file_name/train/model.ckpt-2*) が存在します。なぜそれが見つからないのですか？

Answer 1

単一リージョンの Google Cloud Storage バケットに切り替えてみてください。

Tensorflow の復元機能は、Google Cloud Storage バケット内に書き込まれたばかりのファイルをリストしようとしています。ただし、マルチリージョン バケットに書き込んでいる場合、Google Cloud Storage はファイルを一覧表示するときに強い一貫性を持っていません。この場合、単一リージョンのバケットは一貫性が強く、この問題は発生しません。また、単一のリージョンがトレーニングしているリージョンと同じであると仮定すると、パフォーマンスが向上します。

以下も参照してください。

https://cloud.google.com/ml/docs/how-tos/getting-set-up#setting_up_your_cloud_storage_bucket https://cloud.google.com/ml/docs/concepts/environment-overview#cloud_storage_buckets