0

Hadoop map-reduce プログラムを作成しましたが、仮想ボックス内の同じコンピューターで実行されているCloadera Hadoop ディストリビューションでテストしたいと考えています。

map-reduce ジョブを送信する方法は次のとおりです。

public class AvgCounter extends Configured implements Tool{

    public int run(String[] args) throws Exception {
        Job mrJob = Job.getInstance(new Cluster(getConf()), getConf()); 
        mrJob.setJobName("Average count");

        mrJob.setJarByClass(AvgCounter.class);
        mrJob.setOutputKeyClass(IntWritable.class);
        mrJob.setOutputValueClass(Text.class);
        mrJob.setMapperClass(AvgCounterMap.class);
        mrJob.setCombinerClass(AvgCounterReduce.class);
        mrJob.setReducerClass(AvgCounterReduce.class);
        mrJob.setInputFormatClass(TextInputFormat.class);
        mrJob.setOutputFormatClass(TextOutputFormat.class);

        FileInputFormat.setInputPaths(mrJob, new Path("/user/test/testdata.csv"));
        FileOutputFormat.setOutputPath(mrJob, new Path("/user/test/result.txt"));
        mrJob.setWorkingDirectory(new Path("/tmp"));
        return mrJob.waitForCompletion(true)? 1: 0;
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://192.168.5.50:9000");
        conf.set("mapreduce.jobtracker.address", "192.168.5.50:9001");
        System.exit(ToolRunner.run(conf, new AvgCounter(), args));
    }
}

AvgCounterMapmap何もしない空のメソッドと、何もしないAvgCounterReduce空のreduceメソッドがあります。メイン メソッドを実行しようとすると、次の例外が発生します。

Exception in thread "main" java.io.IOException: Call to /192.168.5.50:9001 failed on local exception: java.io.EOFException
    at org.apache.hadoop.ipc.Client.wrapException(Client.java:1063)
    at org.apache.hadoop.ipc.Client.call(Client.java:1031)
    at org.apache.hadoop.ipc.WritableRpcEngine$Invoker.invoke(WritableRpcEngine.java:198)
    at $Proxy0.getProtocolVersion(Unknown Source)
    at org.apache.hadoop.ipc.WritableRpcEngine.getProxy(WritableRpcEngine.java:235)
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:275)
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:249)
    at org.apache.hadoop.mapreduce.Cluster.createRPCProxy(Cluster.java:86)
    at org.apache.hadoop.mapreduce.Cluster.createClient(Cluster.java:98)
    at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:74)
    at eu.xxx.mapred.AvgCounter.run(AvgCounter.java:22)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:69)
    at eu.xxx.mapred.AvgCounter.main(AvgCounter.java:53)
Caused by: java.io.EOFException
    at java.io.DataInputStream.readInt(DataInputStream.java:375)
    at org.apache.hadoop.ipc.Client$Connection.receiveResponse(Client.java:760)
    at org.apache.hadoop.ipc.Client$Connection.run(Client.java:698)

Hadoop を実行する仮想 Cloudera マシンには、次のファイルがあります。/etc/hadoop/conf/core.site.xml 

<property>
    <name>fs.default.name</name>
    <value>hdfs://192.168.5.50:9000</value>
</property>

そしてファイル/etc/hadoop/conf/mapred.site.xmlには

<property>
     <name>mapred.job.tracker</name>
     <value>192.168.5.50:9001</value>
</property>

92.168.5.50:50030また、Web ブラウザーに書き込むことで仮想マシンへの接続を確認したところ、Hadoop Map/Reduce の管理が期待どおりに行われました。では、その例外の原因は何ですか?どうすればそれを取り除くことができますか?

アイデアをありがとう

4

1 に答える 1

0

問題は、クライアントが Hadoop インストールとは異なるバージョンの Hadoop API (0.23.0) を使用していたことです。

于 2012-11-11T00:51:01.620 に答える