2

私はたくさんの小さなファイルを持っています、例えば20000以上。

マッパーの初期化に費やす時間を節約したいので、500個のマッパーを使用して、それぞれが40個の小さなファイルを入力として処理することは可能ですか？

可能であれば、この種の入力形式を実装する方法についてのガイダンスが必要です、ありがとう！

ところで、私はこれらの小さなファイルをマージする必要があることを知っています。この手順も必要です。

4

1 に答える 1

3

CombineFileInputFormat を使用できます。これは、古いMR APIと新しいMR API にあります。使い方を紹介した素敵なブログです。

于 2012-07-13T09:02:42.963 に答える