3つのノード(1つの実システム、2つの仮想マシン)のテストクラスターを実行しています。3つすべてのubuntu10.1以降。Hadoopバージョン1.0.2およびハイブ0.8.1
これで、基本的なことが正常に機能し、ノードが相互に通信できるようになり、パケットが複製されます。プロセスは正常に実行されています。
テストケースとして、標準のHadoop単語数の例を実行してみました。そのmap/reduceジョブは次のように失敗します-
Call to <my_NameNode_HostName>127.0.0.1:9000 failed on connection exception:
java.net.ConnectException: Connection refused
ジョブは続行されますが、ハングする場合もあれば、失敗する前にこのメッセージ(およびもちろんスタックトレース)を数回繰り返す場合もあります。驚いたことに、画面上でも出力ディレクトリでも、出力は生成されません。
これが私が実行するコマンドです-
hadoop jar hadoop*examples*.jar wordcount /text_data /txt_output
hadoopがパスにあり、jarファイルが現在のディレクトリにあり、3つのテキストファイルがhdfsディレクトリ/text_dataにコピーされています。
グーグルも何か役に立つものを見つけていないようです..ここで助けを求めています...
編集:他のジョブ(ハイブクエリによってトリガーされるなど)が正常に実行されていることを追加するのを忘れました。SSHは3つのノード間でセットアップされ、すべてのエッジがパスワードチャレンジなしで接続性についてテストされています。