0

Python を使用して単純な Hadoop プログラムを作成しています。

mapper.py :

#!/usr/bin/python
import sys
import numpy
from collections import OrderedDict

for line in sys.stdin:
        test = OrderedDict([('1', [11, 5, 5, 5, 4, 4, 4, 3, 3, 3, 3, 3, 3, 3, 2, 2, 2, 2, 2, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0]), ('2', [0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 3, 4, 0, 0, 0, 0, 1, 0, 0, 0, 29, 28, 18, 12, 11, 11, 10, 9, 9, 9, 8, 8, 8, 6, 6, 6, 5, 5, 4, 4])])
        for f in test:
                print numpy.asarray(test[f])

reducer.py :

#!/usr/bin/python
import sys
for line in sys.stdin:
    print line,

入力ファイル:

1
2

期待される出力:

[11  5  5  5  4  4  4  3  3  3  3  3  3  3  2  2  2  2  2  2  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  1  0]
[ 0  0  0  0  0  0  0  0  1  0  3  4  0  0  0  0  1  0  0  0 29 28 18 12 11 11 10  9  9  9  8  8  8  6  6  6  5  5  4  4]
[11  5  5  5  4  4  4  3  3  3  3  3  3  3  2  2  2  2  2  2  0  0  0  0  0 0  0  0  0  0  0  0  0  0  0  0  0  0  1  0]
[0  0  0  0  0  0  0  0  1  0  3  4  0  0  0  0  1  0  0  0 29 28 18 12 11 11 10  9  9  9  8  8  8  6  6  6  5  5  4  4]

実際の出力:

  0  0  0  0  0  0  0  0  0  0  0  0  0  1  0]  
  0  0  0  0  0  0  0  0  0  0  0  0  0  1  0]  
 11 10  9  9  9  8  8  8  6  6  6  5  5  4  4]  
 11 10  9  9  9  8  8  8  6  6  6  5  5  4  4]  
[ 0  0  0  0  0  0  0  0  1  0  3  4  0  0  0  0  1  0  0  0 29 28 18 12 11 
[ 0  0  0  0  0  0  0  0  1  0  3  4  0  0  0  0  1  0  0  0 29 28 18 12 11 
[11  5  5  5  4  4  4  3  3  3  3  3  3  3  2  2  2  2  2  2  0  0  0  0  0 
[11  5  5  5  4  4  4  3  3  3  3  3  3  3  2  2  2  2  2  2  0  0  0  0  0
4

1 に答える 1