sparkR コマンド シェルを使用している場合は、次のように 1 つのエグゼキューター コアに制限できます。
bin/sparkR --total-executor-cores 1
RStudio では、次のようにクラスターに正常に接続できます。
sc <- sparkR.init(master="spark://<master url>")
そこにいくつかの魔法のパラメーターを渡してコアの数を設定できると思いますが、方法がわかりません。https://spark.apache.org/docs/latest/api/R/sparkR.init.htmlはあまり役に立ちませんが、この時点に到達しました。
sc <- sparkR.init("spark://<master url", "RStudio", "/spark/dir", list(total.executor.cores="1"))
および/または
sc <- sparkR.init("spark://<master url", "RStudio", "/spark/dir", list(), list(total.executor.cores="1"))
これらは正常に接続しますが、コアを制限しません。魔法のプロパティ名が間違っているのか、それとも何か他のものがあるのか わかりませんか?