python - レデューサーは sys.stdin を介して複数のキーを取得しますか?

Question

Key に関連付けられたすべての値が単一の Reducer に送信されることはわかっています。Reducer が標準入力を介して一度に複数のキーを取得できる場合はありますか?

私の使用例は、行をキーと値のペアに分割し、キーに関連付けられたすべての行を API に送信することです。ただし、複数のキーが一度に API に送信されるようです。

これが私の仕事が実行されているコードの例です

マッパー

def main():
    for line in sys.stdin
        part1 = get_part1(line)
        part2 = get_part2(line)
        key = '%s - %s' % (part1, part2)
        print '%s\t%s' % (key, line)

レデューサー

def main():
    my_module.sent_to_api(sys.stdin)

Answer 1

1 つのキーに関連付けられたすべての値が 1 つのレデューサーに送信されますが、そのレデューサーは複数のキーを取得する可能性があるため、各出力ファイルに複数のキーが表示されます。