9

ではspark-env.sh、次の環境変数を構成できます。

# - SPARK_WORKER_MEMORY, to set how much memory to use (e.g. 1000m, 2g)
export SPARK_WORKER_MEMORY=22g
[...]
# - SPARK_MEM, to change the amount of memory used per node (this should
#   be in the same format as the JVM's -Xmx option, e.g. 300m or 1g)
export SPARK_MEM=3g

これでスタンドアロン クラスタを起動すると、次のようになります。

$SPARK_HOME/bin/start-all.sh

Spark Master UI の Web ページを見ると、すべてのワーカーが 3GB の RAM のみで開始されていることがわかります。

-- Workers Memory Column --
22.0 GB (3.0 GB Used)
22.0 GB (3.0 GB Used)
22.0 GB (3.0 GB Used)
[...]

ただし、次のように指定22gSPARK_WORKER_MEMORYましたspark-env.sh

私はこれにやや混乱しています。おそらく「ノード」と「ワーカー」の違いがよくわかりません。

誰かが 2 つのメモリ設定の違いと、私が間違ったことを説明できますか?

私はspark-0.7.0を使用しています。詳細な構成情報については、こちらも参照してください。

4

1 に答える 1