apache-spark - Apache Spark がマシンのすべての RAM を認識しない

Question

8 台のマシンの Spark クラスターを作成しました。各マシンには 104 GB の RAM と 16 個の仮想コアがあります。

Spark はマシンごとに 42 GB の RAM しか認識していないようですが、これは正しくありません。Spark がマシンのすべての RAM を認識しない理由を知っていますか?

PS：Apache Spark 1.2を使用しています

Answer 1

よくある誤解のようです。表示されるのは spark.storage.memoryFraction です: https://stackoverflow.com/a/28363743/4278362

Answer 2

Spark は利用可能なメモリを推測しようとはしません。Executor は、spark.executor.memory設定で指定した量のメモリを使用します。42GBに設定されているようです。