mrjob - ローカル MRJob の入力ファイル

Question

wordcountの例を使用して、ラップトップでmrjobsを学習/テストしています。

コマンド モードで入力としてローカル ファイルを提供することはできますが、Python スクリプト内から同じことを行う方法がわかりません。

簡単な例を高く評価します。

ありがとうアナント

Answer 1

あなたが何を求めているのかよくわかりませんでしたが、あなたはこのようなものを探していると思います

[root@localhost code]# cat mr_example.py 

from mrjob.job import MRJob

class MRWordFrequencyCount(MRJob):

    def mapper(self, _, line):
        yield "chars", len(line)
        yield "words", len(line.split())
        yield "lines", 1

    def reducer(self, key, values):
        yield key, sum(values)

if __name__ == '__main__':
    MRWordFrequencyCount.run()

[root@localhost code]# cat test_file 
aaaa
dd dx csadsad
2321 dasdtokcmk
mii xsa
xaaaa
casd

[root@localhost code]# python mr_example.py test_file
...
"chars" 50
"lines" 6
"words" 10