Google Cloud Platform で Jupyter ノートブックを実行しています。読むべき大きな pickeld Dataframe があります。Jupyter Notebook のデフォルトのバッファ サイズは約 0.5 Gb であるため、クラッシュしてカーネルを再起動します。NotebookApp.max_buffer_size='my desired value'Compute Engine の内部に を追加しましjupyter_notebook_config.pyたが、まだ問題があります。

GCP ai-platform では、tf.keras モデルを保存するだけでなく、単純なログをファイルに書き込もうとしています。ただし、モデルを保存するとtf.saved_model.save動作しますが、.txt を使用して書き込みを行うと、with open(file) as out:動作せず、これが発生します。

ai-platform がファイル パスを検出する方法の違いを説明できる人はいますか?

私のリクエストは基本的に次のようになります ( https://cloud.google.com/ai-platform/docs/getting-started-kerasを参照)

trainer/task.py スクリプトの関連部分は次のとおりです。

Google Cloud AI Platform で TensorFlow エスティメーターをトレーニングするためのチュートリアルに大まかに従っています。

トレーニング データと評価データを含むディレクトリにアクセスしたいので、次のようにデータ ファイルを再帰的に Google ストレージにコピーしました。

これは正常に動作し、gsutil ls gs://name-of-my-bucket/data正しく返されます:

os.listdir(data_dir)ただし、 Python スクリプトから呼び出すと、これまでに試したFileNotFoundErrorの任意の値 (およびを含む) が発生します。なんで？data_dir'data/''name-of-my-bucket/data/'

Python スクリプトがディレクトリから実行されていることはわかっています。/root/.local/lib/python3.7/site-packages/trainer/ /user_dir

問題が発生する Python コード (編集)

__main__Pythonスクリプトのセクションから直接、エラーが発生した行の前にあるコードを次に示します。

エラーが発生するコード行は次のとおりです (上記で報告したコード行の直後に呼び出される別の関数の最初の行):

ログ (編集)

このジョブのログは、情報のリスト (およびTensorFlow に関連する5 つの非推奨警告) と、タスクからのエラーです。master-replica-0

... 同じタスクからの別のエラー(Python コマンドからゼロ以外の終了ステータスを報告)、クリーンアップに関する2 つの情報、最後にタスクからのエラーserviceが続きます。