hadoop-streaming - MapReduceの実行中にコマンドラインを介して外部jarを渡す方法は?

Question

Python MapReduce プログラム内で nltk を使用し、以下のコマンドを使用して実行します。

コマンドと一緒に nltk を正しく渡すことができないことがわかりました。誰でも正しい構文を教えてもらえますか? ありがとう。

Answer 1

答えを出してみましょう。うまくいかない場合は、ご連絡ください。

以下を試すことができるかもしれません。すでに Mapper.py を渡すオプションを使用しているため、クラスパスの nltk.jar 内のクラスが必要な場合は、-mapper の代わりに-fileMapper.py を使用して使用する必要があります。-libjars-archives

hadoop jar /usr/lib/gphd/hadoop-mapreduce-2.0.2_alpha_gphd_2_0_1_0/hadoop-streaming-2.0.2-alpha-gphd-2.0.1.0.jar \
-libjars senti-data/nltk.jar \
-file senti-data/traintweets.csv \
-file senti-data/stopwords.txt \
-file /home/cduser/senti-data/Mapper.py \
-mapper Mapper.py \
-input senti-data/inputtweets.txt \
-output output