4

リモート サーバーで動作中の HDFS と実行中の Spark フレームワークを使用しています。私は SparkR アプリケーションを実行しており、完成した UI のログも見たいと思っています。Windows: Apache Spark History Server Configのすべての手順に従い 、サーバーで History Server を起動できました。

ただし、スーパーユーザー (Hadoop の名前ノードを開始した人) と Spark プロセスを開始した人がリモートで Spark アプリケーションを起動した場合にのみ、ログは HDFS パスで正常に行われ、Spark の履歴 Web UI を表示できます。同じように。

同じアプリケーションを自分のユーザー ID から (リモートで) 実行すると、ポート 18080 でヒストリー サーバーが稼働中であることが示されますが、アプリケーションのログは記録されません。

HDFS のフォルダーへの読み取り、書き込み、および実行アクセス権が与えられています。

spark-defaults.conf ファイルは次のようになります。

 spark.eventLog.enabled            true
 spark.history.fs.logDirectory     hdfs://XX.XX.XX.XX:19000/user/logs
 spark.eventLog.dir                hdfs://XX.XX.XX.XX:19000/user/logs
 spark.history.ui.acls.enable      false 
 spark.history.fs.cleaner.enabled  true 
 spark.history.fs.cleaner.interval 1d
 spark.history.fs.cleaner.maxAge   7d

どこかでいくつかのアクセス許可または構成設定を見逃していますか (Spark? HDFS)?

ここから先に進むための指針/ヒントをいただければ幸いです。

4

0 に答える 0