スパーク ストリーミング チェックポイント ディレクトリをホストする S3 バケットの有効期限ポリシーを使用した経験のある人はいますか? Spark Streaming + Kafka を使用してアプリケーションをセットアップしました。チェックポイント ディレクトリを保持するために、24 時間の有効期限ポリシーが設定された S3 バケットを使用したいと考えています。ただし、これがチェックポイント機能に干渉しないことを確認したいと思います。それで、誰かがこれを以前にやったことがありますか?
スパーク ストリーミング チェックポイント ディレクトリをホストする S3 バケットの有効期限ポリシーを使用した経験のある人はいますか? Spark Streaming + Kafka を使用してアプリケーションをセットアップしました。チェックポイント ディレクトリを保持するために、24 時間の有効期限ポリシーが設定された S3 バケットを使用したいと考えています。ただし、これがチェックポイント機能に干渉しないことを確認したいと思います。それで、誰かがこれを以前にやったことがありますか?