Hadoop Ubuntu OS をセットアップし、必要なすべての手順に従いました。 1. hdfs ファイル システムを作成しました。 2. テキスト ファイルを入力ディレクトリに移動しました。しかし、単純な単語カウントの例を実行すると、次のようになりました。
import java.io.IOException;
import java.util.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
public class wordcount {
public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
String line = value.toString();
StringTokenizer tokenizer = new StringTokenizer(line);
while (tokenizer.hasMoreTokens()) {
word.set(tokenizer.nextToken());
context.write(word, one);
}
}
}
public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {
public void reduce(Text key, Iterable<IntWritable> values, Context context)
throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
context.write(key, new IntWritable(sum));
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
conf.addResource(new Path("/HADOOP_HOME/conf/core-site.xml"));
conf.addResource(new Path("/HADOOP_HOME/conf/hdfs-site.xml"));
Job job = new Job(conf, "wordcount");
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
job.setJarByClass(wordcount.class);
job.setMapperClass(Map.class);
job.setReducerClass(Reduce.class);
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);
// FileInputFormat.addInputPath(job, new Path(args[0]));
// FileOutputFormat.setOutputPath(job, new Path(args[1]));
FileInputFormat.setInputPaths(job, new Path("/user/gabriele/input"));
FileOutputFormat.setOutputPath(job, new Path("/user/gabriele/output"));
job.waitForCompletion(true);
}
}
しかし、入力パスは有効であり（コマンドラインからもチェックされます）、Eclipse自体からそのパス内のファイルを表示することさえできるので、plzの支援は間違っていました.
次の2行を追加するという解決策がありました：
config.addResource(new Path("/HADOOP_HOME/conf/core-site.xml")); config.addResource(new Path("/HADOOP_HOME/conf/hdfs-site.xml"));
しかし、まだ機能しません。
エラー: Run as -> run on hadoop
13/11/08 08:39:11 警告 util.NativeCodeLoader: プラットフォームのネイティブ Hadoop ライブラリをロードできません... 該当する場合は組み込み Java クラスを使用します 13/11/08 08:39:12 警告 mapred.JobClient:引数の解析には GenericOptionsParser を使用します。アプリケーションは、同じツールを実装する必要があります。13/11/08 08:39:12 WARN mapred.JobClient: ジョブ jar ファイルが設定されていません。ユーザー クラスが見つからない可能性があります。JobConf(Class) または JobConf#setJar(String) を参照してください。13/11/08 08:39:12 INFO mapred.JobClient: ステージング領域ファイルのクリーンアップ:/tmp/hadoop-gabriele/mapred/staging/gabriele481581440/.staging/job_local481581440_0001 13/11/08 08:39:12 エラーsecurity.UserGroupInformation: PriviledgedActionException as: gabriele 原因: org.apache.hadoop.mapreduce.lib.input.InvalidInputException: 入力パスが存在しません: ファイル:/user/gabriele/input スレッド「メイン」org.apache で例外が発生しました。
ありがとう