python - クライアントモードで実行しているときにスパークログを送信する方法は?

Question

監視に使用するモードpysparkでクラスター上でアプリケーションを実行するために使用しています。clientstandalone

私がしたいのは、ログを見ることだけです。

私は2つのことを試しました：

1) spark-defaults.confSPARK_HOME の構成ファイル ( ) に移動しました。

spark.eventLog.dir     hdfs:<ip>:<port>/<path to directory/

2）私のpythonスクリプトで次のように設定します：

conf = pyspark.SparkConf()
conf.set("spark.eventLog.dir", 'hdfs:<ip>:<port>/<path to directory/')
sc = pyspark.SparkContext(conf=conf)

これらのどちらも、フォルダーにログを生成していないようです。他に試せることはありますか？

ありがとうございました。これはspark 1.3です