問題タブ [spark-ui]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - Spark UI SQL タブからクエリ DAG のデータを取得する任意の API
spark UI には SQL タブがあります。クエリの詳細を DAG として表示できます
アプリケーションの終了後、DAG はそのノードに統計情報で注釈も付けます。例えば、
Spark にはメトリックを取得するための API がありますか? Spark には、RESTful API によってアクセスされるhttps://spark.apache.org/docs/latest/monitoring.html#executor-task-metricsがあります。また、Spark UI のステージ タブには、各タスクの "Summary Metrics" も表示されます。でも
1) タスク ID をクエリ DAG の RDD またはノードに関連付ける方法がわかりません
2) ピーク実行メモリ メトリックは常に 0 ですが、[SQL] タブに表示されていることがわかります。
もう 1 つの問題は、DAG ノードのメトリックを読み取る方法です。例えば、
ノードの最小、中、最大ですか? その値は、合計 24.1G よりもはるかに小さいです...
apache-spark - スタンドアロン モードで実行すると、SparkUI にタブ (ジョブ、ステージ、ストレージ、環境など) が表示されない
次のコマンドでspark masterを実行しています:
./sbin/start-master.sh
その後、 に行ったところhttp://localhost:8080、次のページが表示されました。
次のようなジョブ、環境などのタブが表示されることを期待していました
誰かが問題の場所を理解するのを手伝ってくれますか?
追加の構成が必要ですか?
ありがとう
ジュゼッペ