クラスターで Hadoop ジョブを実行しており、Hadoop ジョブの実行中に -libjars オプションを使用していくつかの jar を渡しています。これらの jar がクラスターのどこにあるかわかりません。これらの jar がローカル マシンからクラスターにコピーされるかどうかは、もう 1 つ重要です。クラスターでこれらの jar を見つけることができる場所
1 に答える
0
Hadoopによると- The Definitive Guide
指定された JAR ファイルをローカル ファイル システム (スキームが指定されている場合は任意のファイル システム) からジョブ トラッカー (通常は HDFS) が使用する共有ファイル システムにコピーし、それらを MapReduce タスクのクラスパスに追加します。このオプションは、ジョブが依存する JAR ファイルを配布するのに便利な方法です。
そのため、指定されたファイルはローカル ファイル システムから HDFS にコピーされ、次にクラスパスのマッパー/リデューサー ノードにコピーされます。また、これらのファイルは mapreduce.client.submit.file.replication 回複製されます。デフォルトは 10 回です。3 回以上複製される理由は、必要なすべてのノードにファイルを配布する必要があるためです。
于 2012-11-02T08:45:21.177 に答える