3

リモートのHadoopクラスターでHadoopジョブを実行しようとしています。以下は私のコードです。

Configuration conf = new Configuration();
conf.set("fs.default.name", "hdfs://server:9000/");
conf.set("hadoop.job.ugi", "username");

Job job = new Job(conf, "Percentil Ranking");
job.setJarByClass(PercentileDriver.class);
job.setMapperClass(PercentileMapper.class);
job.setReducerClass(PercentileReducer.class);
job.setMapOutputKeyClass(TestKey.class);
job.setMapOutputValueClass(TestData.class);
job.setOutputKeyClass(TestKey.class);
job.setOutputValueClass(BaselineData.class);

job.setOutputFormatClass(SequenceFileOutputFormat.class);

FileInputFormat.addInputPath(job, new Path(inputPath));

FileOutputFormat.setOutputPath(job, new Path(outputPath));

job.waitForCompletion(true);

ジョブがすぐに実行を開始すると、マップフェーズの前でも例外がスローされます。

java.io.IOException: Filesystem closed
at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:226)
at org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:617)
at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:453)
at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:192)
at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:142)
at org.apache.hadoop.fs.FileSystem.copyToLocalFile(FileSystem.java:1216)
at org.apache.hadoop.fs.FileSystem.copyToLocalFile(FileSystem.java:1197)
at org.apache.hadoop.mapred.LocalJobRunner$Job.<init>(LocalJobRunner.java:92)
at org.apache.hadoop.mapred.LocalJobRunner.submitJob(LocalJobRunner.java:373)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:800)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:432)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:447)

入力ファイルは存在し、コンマ区切りのテキストファイルです。hadoop jar同じ入力と出力のコマンドを使用して、Hadoopクラスターでジョブを実行できます。しかし、私はそれをリモートで実行することはできません。他のジョブをリモートで実行することもできます。

誰かがこの問題の解決策を教えてもらえますか？

4

2 に答える 2

2

conf.set("mapred.job.tracker", "server:9001");問題は修正されたようです。ご協力いただきありがとうございます。

于 2011-05-02T13:26:28.643 に答える
1

これをして：

conf.set("fs.default.name", "serverurl");

したがって、ファイルシステムを値「serverurl」に設定しています...これは無意味です。

コードからその行を削除するだけで機能すると確信しています。

HTH

于 2011-04-28T12:11:21.947 に答える