0

WordCountの例を作成し、eclipseプロジェクトにMyJar.jarなどの外部jarファイルを含めたとします。ここで、WordCountプロジェクト全体をword.jarファイルとしてエクスポートしてから、次のように入力します。

$> hadoop jar word.jar WordCount input output

ジョブが実行され、word.jarにMyJar.jarファイルを含むlibディレクトリが含まれることを理解しています。さて、このjarファイルのメソッドを呼び出すジョブの実行中にこのjarファイルMyJarファイルはHDFSのどこに保存されますか？

4

1 に答える 1

5

bin / hadoopスクリプトは、実際にはwork.jarファイルをローカルファイルシステムのtmpフォルダーに解凍します。

Jobクライアントは、元のjar、すべてのlib jar、およびその他のジョブファイル（job.xml、分散キャッシュファイルなど）がアップロードされるHDFSでのジョブフォルダーの作成を処理します。

ジョブがクラスターノードで実行されると、これらのファイルはそのノードのローカルファイルシステムのtmpジョブディレクトリにコピーされます。効率上の理由から、ファイルは、そのノードで実行される各マップタスクではなく、1回だけコピーされます。

于 2012-07-15T13:38:52.977 に答える