0

3つのノード(1つの実システム、2つの仮想マシン)のテストクラスターを実行しています。3つすべてのubuntu10.1以降。Hadoopバージョン1.0.2およびハイブ0.8.1

これで、基本的なことが正常に機能し、ノードが相互に通信できるようになり、パケットが複製されます。プロセスは正常に実行されています。

テストケースとして、標準のHadoop単語数の例を実行してみました。そのmap/reduceジョブは次のように失敗します-

Call to <my_NameNode_HostName>127.0.0.1:9000 failed on connection exception:
 java.net.ConnectException: Connection refused

ジョブは続行されますが、ハングする場合もあれば、失敗する前にこのメッセージ(およびもちろんスタックトレース)を数回繰り返す場合もあります。驚いたことに、画面上でも出力ディレクトリでも、出力は生成されません。

これが私が実行するコマンドです-

hadoop jar hadoop*examples*.jar wordcount /text_data /txt_output

hadoopがパスにあり、jarファイルが現在のディレクトリにあり、3つのテキストファイルがhdfsディレクトリ/text_dataにコピーされています。

グーグルも何か役に立つものを見つけていないようです..ここで助けを求めています...

編集:他のジョブ(ハイブクエリによってトリガーされるなど)が正常に実行されていることを追加するのを忘れました。SSHは3つのノード間でセットアップされ、すべてのエッジがパスワードチャレンジなしで接続性についてテストされています。

4

1 に答える 1

0

問題は NameNode にあるようです。あなたのネームノードは稼働していますか?

問題を特定するために以下を試します。

1) マスター ノードで jps を試して、ネーム ノード デーモンが実行されていることを確認します 2) ネーム ノード hadoop/logs/ のログを確認します 3) /etc/hosts/ 構成と masters ファイル構成を確認します

于 2012-06-16T02:24:49.207 に答える