パラメータを使用して YARN で Spark アプリケーションを実行します。
spark-defaults.conf で:
spark.master yarn-client
spark.driver.cores 1
spark.driver.memory 1g
spark.executor.instances 6
spark.executor.memory 1g
yarn-site.xml で:
yarn.nodemanager.resource.memory-mb 10240
他のすべてのパラメータはデフォルトに設定されています。
6 ノードのクラスターがあり、Spark クライアント コンポーネントが各ノードにインストールされています。アプリケーションを実行するたびに、Spark UI に表示されるのは 2 つのエグゼキューターと 1 つのドライバーだけです。Executor はさまざまなノードに表示されます。
Spark がこれ以上エグゼキュータを作成できないのはなぜですか? なぜ6ではなく2しかないのですか?
非常によく似た質問を見つけました: Apache Spark: executor instances を設定しても executors は変更されませんが、 memoty-mb パラメータを増やしても私の場合は役に立ちませんでした。