1

多くのステージ(〜150)を持つスパーク(SQL)ジョブを実行しています。一時的なビューとデータフレームを使用して SQL をチェーンする内部フレームワーク内で、主に spark-sql を使用して記述されています。最初の中間テーブルの書き込みについては、Spark UI -> [SQL] タブで詳細ビューを確認できます。ただし、後のテーブル書き込みでは、[SQL] タブには以下の形式の UI が表示されるだけです。

この理由は何ですか? SQL タブで詳細なグラフィカル ビューを取得するために任意のパラメーターを使用できますか?

私のスパークバージョン:2.3

編集:2020 年 1 月 17 日 JIRA https://issues.apache.org/jira/browse/SPARK-30064を見つけましたが、使用していない jdbc データソースについて言及しているため、関連しているかどうかはわかりません。

ここに画像の説明を入力

4

1 に答える 1