hadoop - Hadoop での顧客のパーティショニング

Question

のようなレコードを含むファイルがありますchicken 10。キーおよび値として取得できるようにするの ではなく、に基づいてデータを分割したいと考えています。/tchicken10

メソッドを変更する必要があると思いますがgetPartition、正しく行うことができません。

誰かがこれの例を持っていますか?

Answer 1

ストリーミングでは、マップ関数はSTDIOから行を読み取り、それを処理するのはマップ関数（ユーザーコード）次第です。Pythonマップ関数のサンプルコードは次のとおりです

import re
import sys
for line in sys.stdin:
    val = line.strip()
    (year, temp, q) = (val[15:19], val[87:92], val[92:93])
    if (temp != "+9999" and re.match("[01459]", q)):
        print "%s\t%s" % (year, temp)