Python を使用して単純な Hadoop プログラムを作成しています。
mapper.py :
#!/usr/bin/python
import sys
import numpy
from collections import OrderedDict
for line in sys.stdin:
test = OrderedDict([('1', [11, 5, 5, 5, 4, 4, 4, 3, 3, 3, 3, 3, 3, 3, 2, 2, 2, 2, 2, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0]), ('2', [0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 3, 4, 0, 0, 0, 0, 1, 0, 0, 0, 29, 28, 18, 12, 11, 11, 10, 9, 9, 9, 8, 8, 8, 6, 6, 6, 5, 5, 4, 4])])
for f in test:
print numpy.asarray(test[f])
reducer.py :
#!/usr/bin/python
import sys
for line in sys.stdin:
print line,
入力ファイル:
1
2
期待される出力:
[11 5 5 5 4 4 4 3 3 3 3 3 3 3 2 2 2 2 2 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0]
[ 0 0 0 0 0 0 0 0 1 0 3 4 0 0 0 0 1 0 0 0 29 28 18 12 11 11 10 9 9 9 8 8 8 6 6 6 5 5 4 4]
[11 5 5 5 4 4 4 3 3 3 3 3 3 3 2 2 2 2 2 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0]
[0 0 0 0 0 0 0 0 1 0 3 4 0 0 0 0 1 0 0 0 29 28 18 12 11 11 10 9 9 9 8 8 8 6 6 6 5 5 4 4]
実際の出力:
0 0 0 0 0 0 0 0 0 0 0 0 0 1 0]
0 0 0 0 0 0 0 0 0 0 0 0 0 1 0]
11 10 9 9 9 8 8 8 6 6 6 5 5 4 4]
11 10 9 9 9 8 8 8 6 6 6 5 5 4 4]
[ 0 0 0 0 0 0 0 0 1 0 3 4 0 0 0 0 1 0 0 0 29 28 18 12 11
[ 0 0 0 0 0 0 0 0 1 0 3 4 0 0 0 0 1 0 0 0 29 28 18 12 11
[11 5 5 5 4 4 4 3 3 3 3 3 3 3 2 2 2 2 2 2 0 0 0 0 0
[11 5 5 5 4 4 4 3 3 3 3 3 3 3 2 2 2 2 2 2 0 0 0 0 0