0

Spark ストリーミング アプリケーションによって監視される HDFS パスにデータ ファイルを配置しています。そして、スパーク ストリーミング アプリケーションがデータを kafka トピックに送信します。ストリーミング アプリケーションを途中で停止し、停止したところから開始するようにします。しかし、入力データファイル全体を再度処理しています。したがって、チェックポイントが適切に使用されていないと思います。Spark 1.4.1 バージョンを使用しています。ストリーミング アプリケーションが失敗/停止した時点から開始するにはどうすればよいですか? 前もって感謝します。

4

1 に答える 1