1

Hadoopを使い始めたばかりで、レデューサーの実行についていくつか質問があります。

キーの場合、値ペアは1つのレデューサータスクに分散されます。順次処理しますか、それとも並列処理しますか。

たとえば、レデューサータスクの場合は（A、5）（A、3）（B、10）です。A、Bは並行してレデューサーに入りますか？

4

1 に答える 1

2

1 つのレデューサーを使用する場合、KV ペアは並列に処理されず、並べ替えられた順序で処理されます。上記の例では、ペアは 1 つ以上のマッパー タスクから (複数のマッパーの場合は並行して) 単一の reduce タスクに送信されます。これらの値はレデューサー クラスに渡される前に、集計され ((A,5) と (A,3) は (A,{5,3}) に変換され)、リデューサー タスクが実際にユーザー コードを実行して、入力セットを「削減」します。

于 2013-02-20T22:57:33.960 に答える