問題タブ [checkpointing]

内部で mapwithstate 関数を使用するストリーミング アプリケーションを開発しています...

checkpoinitnd データのチェックポイント間隔を手動で設定する必要があります。

これは私のサンプルコードです..

この場合、チェックポイントからモデルのトレーニングを続けたいと思います。cifar-10 の例を使用し、以下のように cifar-10_train.py を少し変更しました。チェックポイントから復元したいことを除いて、それらはほとんど同じです。 cifar-10 を md に置き換えました。

コードを実行すると、次のようなエラーが表示されます:

107行目の「sess.run(init)」のコメントを外すと、完全に実行されますが、初期化されたモデルであり、sctrachからの新しいモデルです。チェックポイントから変数を復元し、トレーニングを続けたいです。復元したいです。

スパーク ストリーミング チェックポイント ディレクトリをホストする S3 バケットの有効期限ポリシーを使用した経験のある人はいますか? Spark Streaming + Kafka を使用してアプリケーションをセットアップしました。チェックポイント ディレクトリを保持するために、24 時間の有効期限ポリシーが設定された S3 バケットを使用したいと考えています。ただし、これがチェックポイント機能に干渉しないことを確認したいと思います。それで、誰かがこれを以前にやったことがありますか？