動的リソース割り当てに関して質問/問題があります。スタンドアロン クラスター マネージャーで spark 1.6.2 を使用しています。
2 つのコアを持つワーカーが 1 つあります。すべてのノードの spark-defaults.conf ファイルに次の引数を設定します。
spark.dynamicAllocation.enabled true
spark.shuffle.service.enabled true
spark.deploy.defaultCores 1
多くのタスクを含むサンプル アプリケーションを実行します。ドライバーでポート 4040 を開き、上記の構成が存在することを確認できます。
私の問題は、私が何をしても、他のコアが利用可能であっても、アプリケーションが1つのコアしか取得できないことです。
これは正常ですか、それとも構成に問題がありますか?
私が取得したい動作は次のとおりです。同じスパーククラスターで作業している多くのユーザーがいます。クラッツァーの残りの部分が保留されていない限り、各アプリケーションが固定数のコアを取得することを望みます。この場合、新しいアプリケーションが到着するまで、実行中のアプリケーションがコアの合計量を取得することを望みます...
これのためにメソスに行かなければなりませんか？