ファイル全体で 1 から始まるシーケンス番号を生成する必要があるという問題があります。
たとえば、次のようなBIGファイルがあるとします。
abc,123
abb,111
ccc,122
..... N 行の数
今、私の出力は次のようになります:-
1,abc,123
2,abb,111
3,ccc,122
....など。
mapreduce を使用してこれを行う際の問題は、ファイルのすべての分割が異なる map 関数によって並行して処理されるため、シーケンスを維持できないことです。これを行うために単一のレデューサーを使用するように言わないでください。典型的なmapreduceジョブを使用してこれを並行して実行したいので、単一のレデューサーを使用したくありません。map-reduce を使用してこれを行うための最善の方法はありますか?