2

PySpark プログラムで使用するコア数を設定する方法を知りたいです。

私は少し検索を行ってきましたが、決定的な答えを見つけることができませんでした。

4

2 に答える 2

2

--executor-cores を spark-submit で使用して設定するか、コード自体で sc.setExecutorEnv(key=None, value=None,pairs=None) を使用して設定できます。

于 2015-03-17T17:18:01.387 に答える
1

--executor-coresプロパティを使用して、spark-submit でアプリケーションを送信する際に使用するコアの数を指定できます。

以下に例を示します。

./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn-cluster \
    --num-executors 3 \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1
    lib/spark-examples*.jar \
    10
于 2015-03-16T17:47:30.063 に答える