1

Spark UI のエントリが意味するものを理解しようとしています。

ここに画像の説明を入力

アクションを呼び出すと、ジョブが作成されます。理解に苦しむ

  1. これらの雇用はいくつ創出されますか? それはマイクロバッチの数に比例しますか?
  2. 期間列は何を意味しますか?
  3. ストリーミング コンテキストをインスタンス化するときにバッチ期間を設定すると、どのような影響がありますか? それは Spark UI のどこに表示されますか?

新しい StreamingContext(sparkSession.sparkContext, Seconds(50))

4

1 に答える 1