0

tasktracker にタスクが割り当てられている場合、tasktracker はそのローカル システム上のライブラリでタスクを開始できますか?

もしそうなら、ローカルライブラリを使用して有効にするコマンドは何ですか?

4

1 に答える 1

1

ローカルの HADOOP_HOME/lib 内のすべての jar がクラス パスに追加されるため、簡単なハックが必要な場合はそこに何かを貼り付けることができます。

これを行う適切な方法は、ジョブを開始する前に分散キャッシュに明示的に追加することです。そうすれば、そのライブラリは Map Reduce ジョブのすべてのタスクで利用できるようになります。

DistributedCache.addFileToClassPath(new Path("hdfs://path/to/lib.jar"), jobConf)
于 2012-06-13T15:16:13.557 に答える