0

学習のために、ワードカウントの例を変更してパーティショナーを追加しようとしました。カスタマイズしたpartiotinerを書くことで、作成されるReduce Taskの数を制御できるという部分が理解できました。これはいい。

しかし、私が理解できない1つの質問は、hdfsで生成された出力ファイルの数です。これは、呼び出されたReduceタスクの数またはReduceタスクごとに実行されたReduce呼び出しの数に依存します。(Reduce タスクごとに、多数の Reduce 呼び出しが発生する可能性があります)。

他に詳細が必要な場合はお知らせください。コードは非常に基本的なものなので、投稿しません。

4

1 に答える 1