mapper の内容をファイルに書き込む方法。これでいいですか。
public class MyMapper extends
Mapper<Object, Text, Text, MatrixWritable > {
public void map(Object key, Text value, Context context)
throws IOException, InterruptedException {
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
Path inputfile = new Path("in/map");
BufferedWriter getdatabuffer = new BufferedWriter(new OutputStreamWriter(fs.create(inputfile)));
if(value.toString()!= null){
getdatabuffer.write(value.toString());
}
getdatabuffer.close();
入力ファイルが分割されている場合、上記のコードが正常に機能するかどうか?
レデューサーでは、すべてのマッパー データを結合しています。
編集
Path inputfile = new Path("in/map");
FSDataOutputStream out = fs.create(inputfile);
if(value.toString()!= null){
out.writeBytes(value.toString());
}
out.close();