1

目標は、1つのreduceを使用して出力を異なるフォルダー（異なるパス）に書き込むことです。私は古いmapreduceAPIを使用しており、MultipleOutputsに少し変更を加えて（制限を緩め）、機能します。しかし、私が使用するoutputformatはFileOutputFormatを拡張し、FileOutputCommitterはFileOutputFormatによって参照されます。そして、1つのフォルダーにのみ_successファイルがあることがわかりました。問題になりますか？

そして、まだ空のファイル部分があります-00000、なぜそれが生成されるのかわかりませんか？

4

1 に答える 1

0

_SUCCESS は、ジョブの完了後に一度だけ書き込まれます。ジョブが完了したかどうかを確認するのに便利です。それによるリスクはないと思います。ジョブが完了した後にのみ作成されることを知っておく必要があり、そのファイルを使用している場合はそのファイルを探す場所を知っておく必要があります。

part- ファイルについては、 map reduce の出力ファイル part-r-* および part-* を参照してください。

于 2013-03-06T19:55:08.407 に答える