問題タブ [spark-ui]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
56 問題
0
投票する
1
に答える
228
参照
apache-spark - ストリーミング アプリケーションの Spark UI について
Spark UI のエントリが意味するものを理解しようとしています。
アクションを呼び出すと、ジョブが作成されます。理解に苦しむ
- これらの雇用はいくつ創出されますか? それはマイクロバッチの数に比例しますか？
- 期間列は何を意味しますか?
- ストリーミング コンテキストをインスタンス化するときにバッチ期間を設定すると、どのような影響がありますか? それは Spark UI のどこに表示されますか?
新しい StreamingContext(sparkSession.sparkContext, Seconds(50))
0
投票する
0
に答える
26
参照
pyspark - pyspark で開始されたタスクを監視するにはどうすればよいですか
クラスターでいくつかのタスクを実行するために pyspark を使用しています。タスクのステータスを確認したい。ここで述べたように、UI はデフォルトで起動する必要があると思います 。
しかし、UI を取得できません ( http://localhost:4040など)。