マッパー (Python スクリプト) のみを使用し、リデューサーを使用しない場合、出力の長いファイルではなく、出力の各行に対して、ファイル名としてキーを使用して別のファイルを出力するにはどうすればよいですか?
4244 次
3 に答える
1
ストリーミングを使用する場合、outputFormatClass を置き換えることは可能ですか? ネイティブ Java 実装では、MultipleTextOutputFormat クラスを拡張し、出力ファイルに名前を付けるメソッドを変更します。次に、JobConf の setOutputFormat メソッドを使用して、実装を新しい outputformat として定義します。
これがストリーミングでも可能かどうかを確認する必要があります。私はしません:-/
于 2009-11-03T00:59:12.997 に答える
1
Python ファイル関数を使用してローカル ファイル システム上のテキスト ファイルに書き込むか、HDFS を使用する場合はThrift APIを使用します。
于 2009-11-03T18:23:15.320 に答える