hadoop - Hadoop: jobclient はどこで動作しますか?

Question

ジョブクライアントはどこで働いていますか? 2 つの状況:

1. job.jar を hdfs にコピーし、「hadoop jar job.jar」でジョブを実行すると、コマンドが実行されるコンピューターでジョブクライアントが実行されると思いますが、正しいですか? このコマンドを使用して、jobtracker と hdfs ポートが構成されたクラスター外のコンピューターでジョブを実行できますか?

2. コンピューターで Eclipse を使用してリモート プログラミングを行う場合、[Run on hadoop] メニューでジョブを実行すると、クラスターに属していないコンピューターでジョブクライアントが実行されますか? それともどこか...

Answer 1

JobClient はドライバー クラスで呼び出され、MR ジョブとその他のいくつかの実行を開始します。JobClient と Driver は同一ノード上で実行されます。JobClient の詳細については、こちらをご覧ください。

JobClient が実行される場所は、ドライバーが実行される場所によって異なります。ドライバーは、Hadoop クラスターの外部または内部から実行できます。ドライバーは、Hadoop クラスター ゲートウェイからも実行できます。