0

spark-submit コマンドの最適なメモリ設定を計算する方法は?

Oracle から Spark に 4.5 GB のデータを取り込み、Hive テーブルと結合して Oracle に書き戻すなどの変換を実行しています。私の質問は、最適なメモリ パラメータを使用して spark-submit コマンドを作成する方法です。

spark-submit --master yarn-cluster --driver-cores 2 \
--driver-memory 2G --num-executors 10 \
--executor-cores 5 --executor-memory 2G \
--class com.spark.sql.jdbc.SparkDFtoOracle2 \
Spark-hive-sql-Dataframe-0.0.1-SNAPSHOT-jar-with-dependencies.jar

計算方法、ドライバ メモリの量、必要なドライバ/エグゼキュータ メモリの量、必要なコアの数など。

4

1 に答える 1

1

これは一般的に、特効薬のない複雑な問題です。最適な選択は、データの特性と操作のタイプだけでなく、システムの動作 (Spark オプティマイザーなど) にも依存します。いくつかの役立つヒントをここで見つけることができます

于 2016-11-03T19:28:24.873 に答える