1

マッパーへの入力としてテキストファイルを取得し、シーケンスファイルを出力したいと思います。簡単なmap-reduceジョブを同じように書く方法は？テキストファイルにはタブ区切りの値があります。例：input：group1 1 2 3 4 5
このような入力の場合、キーに「group1」があり、その値は1 2 345のベクトルである出力シーケンスファイルを作成します。

どうすればこれらの仕事を書くことができますか？また、この場合、レデューサーは必要ないと思います。この場合、アイデンティティリデューサージョブを作成するにはどうすればよいですか？レデューサージョブの記述をスキップできますか？

助けに感謝します。よろしく。

4

1 に答える 1

0

はい、書くのをスキップできますReducer。これを単にに設定しますReducer.class。も呼び出しますsetNumReduceTasks(0)。キー/値の入力として、Mapperを使用TextInputFormatして取得する必要があります。がラインです。必要に応じて分割し、キー/値を、たとえば、およびとして出力します。シーケンスファイルの書き込みを指定します。LongTextTextTextTextSequenceFileOutputFormat

なぜこれをやりたいのかはまだわかりませんが、それがあなたのやり方です。

于 2012-09-19T18:57:51.433 に答える