0

私は長時間実行されているマップのみのジョブを持っています。各マッパーは約 25G のデータを処理し、1 つのファイルを書き込みます。入力データはソートされているため、入力データを複数のマッパーに分割できません。ただし、出力データをソートする必要はありません。出力ファイルがそれほど大きくならないように、マッパーごとに複数のファイルを書き込むにはどうすればよいですか? そのファイルが十分に大きいときはいつでも(たとえば1G)、現在開いているファイルを閉じて、別のファイルへの書き込みを開始したいと思います。

4

0 に答える 0