Spark スタンドアロン クラスターでは、マスター ノードもタスクを実行しますか? エグゼキューター プロセスがマスター ノードで起動され、ワーカー ノードと一緒に動作するかどうかはわかりませんでした。
ありがとう！
質問する
1472 次
1 に答える
3
Executor は、そのノードに少なくとも 1 つのワーカー デーモンがあるノードでのみ開始されます。つまり、Worker として機能しないノードでは、Executor は開始されません。
ただし、Master と Worker をどこから開始するかはすべてユーザーの判断に基づいており、Master と Worker を同じノードに配置できないという制限はありません。
マスターと同じマシンでワーカー デーモンを開始するには、ファイルを編集してマスター IP を追加し、開始時に start-all.sh を使用するか、マスター ノードでconf/slavesいつでもワーカーを開始します。start-slave.shSpark マスター URL を提供する--master spark://master-host:7077
更新（ダニエル・ダラボスの提案に基づく）：
Application Detail UIのタブを参照すると、行に が含まれてExecutorsいることもわかります。それが示すドライバーは、ジョブがスケジュールおよび監視されるプロセスであり、spark クラスターに送信したプログラムを実行し、RDD で変換とアクションをスライスしています。ステージに分け、ステージを TaskSet としてスケジュールし、タスクを実行するように調整します。<driver>Executor IDmainexecutors
これ<driver>は、 で呼び出したノード、または のいずれかのワーカー ノードで開始されspark-submitますclient mode。cluster mode
于 2015-05-11T06:45:37.230 に答える