apache-spark - spark-submit を使用しているときにコンソールにメッセージをドロップする方法は?

Question

spark-submitでジョブを実行するとscala、コンソールに多くのステータス メッセージが表示されます。

しかし、私は自分の版画だけを見たいのです。これらのメッセージが表示されないようにするために、パラメータを設定できますか?

Answer 1

これで大部分はうまくいくはずです。コード内に配置します。

import org.apache.log4j.{Level, Logger}
Logger.getLogger("org").setLevel(Level.WARN)
Logger.getLogger("akka").setLevel(Level.WARN)

またはこれでconf/log4j.properties：

log4j.rootCategory=WARN, console