scala - Spark-Shell の実行中にパーティション ログを取得する

Question

EMR クラスターで Spark-Shell を使用してコードを実行しています。サンプルは次のとおりです。

[hadoop@<IP> ~]$ spark-shell --jars <JAR_LIST>  --num-executors 72 --executor-cores 5 --executor-memory 16g --conf spark.default.parallelism=360 
...
scala> val args = Array(...)
scala> org.abc.MainClass(args)
... start ... execution

今、私は次のようなコードを持っています

dataFrame.foreachPartition { dataSetPartition => {
  val localLogger: Logger = Logger.getLogger("PartitionLogger")
  logger.info("INFO")
  ...
  logger.error("TEST")
  ...

問題は、パーティション ログを取得できないことです。どうすれば同じように分析できますか。

バージョン：

Spark: 2.2.1
Scala: 2.11

Answer 1

Executors タブの下の spark UI を見ると、各 executor の stderr と stdout を含むログ列が表示されます。