「alice.txt」の単語を数える単純なpydoopプログラムを実行しています。ただし、奇妙なエラーが発生します。一部のモジュールが欠落しているか、コードが間違っているかはわかりません。
Pydoop コード:
#!/usr/local/bin/python
import pydoop
def mapper(_,text,writer):
for word in text.split():
writer.emit(word,"1")
def reducer(word,icounts,writer):
writer.emit(word,sum(map(int,icounts)))
def combiner(word,icounts,writer):
writer.count('combiner calls', 1)
reducer(word,icounts,writer)
pydoop コードをマウントして実行する手順:
pydoop script -c combiner wc.py alice.txt a.txt
エラー :
ImportError: No module named _hdfs_2_0_0_cdh_4_3_0