4

私はで働いていSparkRます。

必要な数の次のコマンドexecutorsを使用して、YARN に Spark コンテキストを設定できます。executor-cores

spark/bin/sparkR --master yarn-client --num-executors 5 --executor-cores 5

今、私は新しいSparkコンテキストを初期化しようとしていますが、通常のコマンドラインよりも快適に作業できるRStudioからです。

これを行うには、sparkR.init()関数を使用する必要があることがわかりました。masterに設定したオプションがありますが、yarn-client指定方法num-executorsまたはexecutor-cores? 積み上げたところです

library(SparkR, lib.loc = "spark-1.5.0-bin-hadoop2.4/R/lib")

sc <- sparkR.init(sparkHome = "spark-1.5.0-bin-hadoop2.4/",
                  master = "yarn-client")
4

1 に答える 1

3

sparkEnvirの引数を提供するsparkR.initとうまくいくはずです：

sparkEnvir <- list(spark.num.executors='5', spark.executor.cores='5')

sc <- sparkR.init(
    sparkHome = "spark-1.5.0-bin-hadoop2.4/", 
    master = "yarn-client",
    sparkEnvir = sparkEnvir)
于 2015-09-16T18:21:57.357 に答える