問題タブ [spark-ui]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - ジョブとタスクの期間の関係は Spark UI
タイミングを監視するためのスパーク UI を理解しようとしていますが、ジョブの期間とタスクの期間の関係を理解するのが困難です。
以下のジョブの場合、合計実行時間は 13 分 と表示されますが、ジョブ内でステージ (1 つのステージと 1 つのタスクがある) を開くと、わずか 3 秒と表示されます。他の時間が費やされている場所の詳細を取得するにはどうすればよいですか?
前もって感謝します！！！
apache-spark - 1 回の読み取りで Spark UI に 2 つのジョブが表示されるのはなぜですか?
以下のスクリプトを実行して、24k レコードのファイルをロードしようとしています。Spark UI で単一のロードに対して 2 つのジョブが表示される理由はありますか?
コード
trades_df.rdd.numPartitions() は 1 です
amazon-ec2 - cloudformation スタックを使用して Spark UI を表示できない
接着剤ジョブのスパーク UI を有効にしたいと考えています。このガイドで提供されているデフォルトのymlファイルを使用して、クラウドフォーメーションでスタックを起動しました。スタックが CREATE_COMPLETE になった後、スタックの出力から SparkUiPublicUrl を取得しましたが、この URL を開くことができませんでした。つまり、spark ui を表示できませんでした。私が試したのは、セキュリティ グループのインバウンド ルールを次のように変更することでしたが、まだ機能していません。ここで何かを見逃しましたか？
