0

次の方法で、AWS ec2 インスタンスの ipython で pyspark を起動しました。

IPYTHON=1 ./spark/bin/pyspark

Ipython が起動し、動作しているようです。しかし、今何が起こっているのですか?

15/02/19 23:47:34 INFO client.AppClient$ClientActor: Executor updated: app- 
20150219234524-0001/46 is now LOADING
15/02/19 23:47:34 INFO client.AppClient$ClientActor: Executor updated: app-   
20150219234524-0001/38 is now EXITED (Command exited with code 1)
15/02/19 23:47:34 INFO cluster.SparkDeploySchedulerBackend: Executor app-
20150219234524-0001/38 removed: Command exited with code 1
15/02/19 23:47:34 ERROR cluster.SparkDeploySchedulerBackend: Asked to remove 
non-existent executor 38
15/02/19 23:47:34 INFO client.AppClient$ClientActor: Executor added: app-
20150219234524-0001/47 on worker-20150219205401-ip-172-31-57-   
73.ec2.internal-40221 (ip-172-31-57-73.ec2.internal:40221) with 4 cores
15/02/19 23:47:34 INFO cluster.SparkDeploySchedulerBackend: Granted executor 
ID app-20150219234524-0001/47 on hostPort ip-172-31-57-73.ec2.internal:40221 
with 4 cores, 12.7 GB RAM

私はまだコマンドを実行できます。Enter キーを数回押すだけで、コマンド ラインが表示されます。ただし、大量のテキストが常にスクロールされるため、作業が困難になります。このフィードバックを抑制する方法はありますか?

4

1 に答える 1

0

これを行う 2 つの方法:

  • log4j レベルをOFFに設定します。これを行う最も簡単な方法は、次のように設定することですspark-defaults.conf。

spark.driver.extraJavaOptions -Dspark.driver.log.level=OFF

  • それを /dev/null にパイプするか、通常の方法でファイルを作成する方がおそらく良い考えです。

前者はおそらくコマンドラインからも設定できます。

于 2015-03-01T11:47:02.730 に答える