Avroデータをロードして処理する必要があるsparkプログラムに取り組んでいます。Spark アプリケーションのジョブ ID がどのように作成されるかを理解しようとしています。以下のコード行を使用して、avro データをロードします。
sqlContext.read.format("com.databricks.spark.avro").load(パス)
私の知る限り、プログラムで発生したアクションに基づいてジョブ ID が作成されます。私のジョブは 30 分ごとに実行されるようにスケジュールされています。このアプリケーションの Spark 履歴サーバーを見ると、ロード操作用にジョブ ID が作成されていることがわかります。たまにしか発生せず、ログはまったく問題ないように見えます。私はspark 1.6.1を使用しています
ロード操作がアプリケーションで新しいジョブ ID を作成するかどうか知りたいですか?