hadoop - Hadoop にサードパーティの Jar を含める

Question

私はHadoopが初めてです。MapReducing プログラムに Gson API を追加しました。プログラムを実行しているとき;

Error: java.lang.ClassNotFoundException: com.google.gson.Gson

サードパーティのライブラリを Hadoop に追加する方法を教えてもらえますか?

Answer 1

次の例のように、ジョブの送信時にと の両方HADOOP_CLASSPATHに依存関係を必ず追加してください。-libjars

lib以下を使用して、現在の およびディレクトリからすべての jar 依存関係を追加します。

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:`echo *.jar`:`echo lib/*.jar | sed 's/ /:/g'`

を使用してジョブを開始するときhadoop jarは、依存関係の jar ファイルも渡す必要があることに注意して-libjarsください。私は使用するのが好きです：

hadoop jar <jar> <class> -libjars `echo ./lib/*.jar | sed 's/ /,/g'` [args...]

注:コマンドには別のsed区切り文字が必要です。は分離されており、分離するHADOOP_CLASSPATH必要があります。:-libjars,