1

こんにちは、Hadoop 1.0 を構成しようとしています。このブログに従って、疑似分散モードで。

http://hadoop-tutorial.blogspot.de/2010/11/running-hadoop-in-pseudo-distributed.html?showComment=1337083501000#c615470573579885293 .

しかし、hadoop ディストリビューションにある pi の例を実行すると、タイトルに記載されているエラーが発生します。誰かが私を助けて、この問題を解決する方法を教えてください。また、問題を特定するとともに、可能であれば解決策も提案してください。

ここに私がjpsを実行して得たものがあります

8322 Jps
7611 SecondaryNameNode
7474 DataNode
7341 NameNode

ここに完全なエラーメッセージがあります。

Number of Maps  = 10
Samples per Map = 100
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Starting Job
12/05/16 13:11:56 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 0 time(s).
12/05/16 13:11:57 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 1 time(s).
12/05/16 13:11:58 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 2 time(s).
12/05/16 13:11:59 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 3 time(s).
12/05/16 13:12:00 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 4 time(s).
12/05/16 13:12:01 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 5 time(s).
12/05/16 13:12:02 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 6 time(s).
12/05/16 13:12:03 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 7 time(s).
12/05/16 13:12:04 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 8 time(s).
12/05/16 13:12:05 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8021. Already tried 9 time(s).
java.net.ConnectException: Call to localhost/127.0.0.1:8021 failed on connection exception: java.net.ConnectException: Connection refused
        at org.apache.hadoop.ipc.Client.wrapException(Client.java:1095)
        at org.apache.hadoop.ipc.Client.call(Client.java:1071)
        at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
        at org.apache.hadoop.mapred.$Proxy2.getProtocolVersion(Unknown Source)
        at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:396)
        at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:379)
        at org.apache.hadoop.mapred.JobClient.createRPCProxy(JobClient.java:480)
        at org.apache.hadoop.mapred.JobClient.init(JobClient.java:474)
        at org.apache.hadoop.mapred.JobClient.<init>(JobClient.java:457)
        at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1260)
        at org.apache.hadoop.examples.PiEstimator.estimate(PiEstimator.java:297)
        at org.apache.hadoop.examples.PiEstimator.run(PiEstimator.java:342)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
        at org.apache.hadoop.examples.PiEstimator.main(PiEstimator.java:351)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:601)
        at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:68)
        at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:139)
        at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:64)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:601)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
Caused by: java.net.ConnectException: Connection refused
        at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
        at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:701)
        at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
        at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:656)
        at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:434)
        at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:560)
        at org.apache.hadoop.ipc.Client$Connection.access$2000(Client.java:184)
        at org.apache.hadoop.ipc.Client.getConnection(Client.java:1202)
        at org.apache.hadoop.ipc.Client.call(Client.java:1046)
        ... 24 more
4

4 に答える 4

3

出力は、 JobTrackerjpsも TaskTracker も実行していないことを示しています。したがって、jobtracker と通信しようとすると接続の問題が発生します。

jobtracker のログ ( $HADOOP_HOME/logs/*.jobtracker*.log) をチェックして、開始されていない理由を説明するエラー メッセージがあるかどうかを確認します (クラスターをどのように開始したstart-all.shか、またはstart-dfs.sh実行start-mapred.shしてみて、map reduce サービスが開始されるかどうかを確認してください)。

于 2012-05-16T13:42:33.670 に答える
0

From the jps output looks like the TaskTracker and JobTracker are not running. Try running: 

start-mapred.sh

This would start the TaskTracker and JobTracker and try rerunning job.

于 2013-02-10T23:07:35.587 に答える
0

これは接続関連の問題のようです。ジョブトラッカーとトラスクトラッカーは正しく動作していますか?

このリンクを参照してください

編集：

Definitive Guideの付録 A を参照してください。3つのモードすべてでhadoopサーバーをセットアップするための完全な手順があります. あなたの構成が問題を引き起こしている可能性があると思うので、本で規定されているものを使用してください。また、今年のセットアップでパスワードなしの SSH が正常に機能しているかどうかも確認してください。

于 2012-05-16T11:53:41.783 に答える
0

私は同じ問題に遭遇しました。これは、hadoop 1.0.x に違いがあり、hadoop_env.sh で 2 つの変数を設定する必要があるためです。

エクスポート HADOOP_HEAPSIZE=2000

追加の Java ランタイム オプション。デフォルトでは空です。

export HADOOP_OPTS=-サーバー

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

これら 2 つの変数を追加すると、デーモンの起動中にエラーや警告が表示されなくなり、問題を解決できます。幸運を！

私の答えが他の人の助けになることを願っています:)

于 2012-12-21T07:09:58.023 に答える