多くのステージ(〜150)を持つスパーク(SQL)ジョブを実行しています。一時的なビューとデータフレームを使用して SQL をチェーンする内部フレームワーク内で、主に spark-sql を使用して記述されています。最初の中間テーブルの書き込みについては、Spark UI -> [SQL] タブで詳細ビューを確認できます。ただし、後のテーブル書き込みでは、[SQL] タブには以下の形式の UI が表示されるだけです。
この理由は何ですか? SQL タブで詳細なグラフィカル ビューを取得するために任意のパラメーターを使用できますか?
私のスパークバージョン:2.3
編集:2020 年 1 月 17 日 JIRA https://issues.apache.org/jira/browse/SPARK-30064を見つけましたが、使用していない jdbc データソースについて言及しているため、関連しているかどうかはわかりません。