apache-spark - SparkContext から WebUI URI を取得する方法

Question

IPython ノートブックで pySpark を実行しています。各ノートブックには独自の sparkContext があり、4040 から始まる独自のポートに関連付けられた webUI が
あります。正しい webUI を参照できるように、ポートまたは URI を抽出して出力したいと思います。どうすればこの情報を入手できますか?

Answer 1

以下を使用して、基礎となる Scala SparkContext に直接トンネリングすることにより、SparkUI ページの完全な URL を取得できます。

>>> sc._jsc.sc().uiWebUrl().get()
u'http://192.168.0.59:6970'

ただし、これは少し不便なので、アクセサーを追加するプル リクエストを提出したところなので、次のように簡単に実行できます。

>>> sc.uiWebUrl
u'http://192.168.0.59:6970'

これが次のリリースにマージされることを願っていますが、そうでない場合は、リンクされたブランチの変更を使用して、Spark の独自のコピーにパッチを当てることができます (または、上記の醜い長い形式を使用します)。

編集: PR は実際にマージされているため、sc.uiWebUrl上記の構文は、パッチを適用しなくても Spark の最新バージョンで機能するようになりました。