1

を実行する場合sparkling-shell:

bin/sparkling-shell

次のエラーが発生します。

org.apache.spark.SparkException: Asked to launch cluster with 2048 MB RAM / worker but requested 20480 MB/worker

に次のように設定しましたspark-env.sh:

export SPARK_WORKER_MEMORY=108GB
export SPARK_WORKER_INSTANCES=4

そして、次のspark-defaults.conf:

spark.executor.memory   20g
spark.driver.memory     8g

シェルを起動させる唯一の方法は、ワーカー メモリを 2GB にリセットすることです。

spark.executor.memory   2g

しかし、それだけでは私たちの仕事を遂行するには不十分です。この問題の回避策を見つけた人はいますか?

4

2 に答える 2

0

MASTER環境変数の内容を教えてください。

これは、spark-defaults ファイルでメモリ要求よりも低い場所に設定MASTERした場合に発生する可能性があります。"local-cluster[numOfExecutors,numOfExecutorCores,numOfExecMemory]"numOfExecMemory

于 2016-04-20T11:09:28.903 に答える