0

Tom White の「Hadoop - The Definitive Guide」に従っています。Java インターフェイスを使用して Hadoop URL からデータを読み取ろうとすると、次のエラー メッセージが表示されます。

hadoop@ubuntu:/usr/local/hadoop$ hadoop URLCat hdfs://master/hdfs/data/SampleText.txt
12/11/21 13:46:32 INFO ipc.Client: Retrying connect to server: master/192.168.9.55:8020. Already tried 0 time(s).
12/11/21 13:46:33 INFO ipc.Client: Retrying connect to server: master/192.168.9.55:8020. Already tried 1 time(s).
12/11/21 13:46:34 INFO ipc.Client: Retrying connect to server: master/192.168.9.55:8020. Already tried 2 time(s).
12/11/21 13:46:35 INFO ipc.Client: Retrying connect to server: master/192.168.9.55:8020. Already tried 3 time(s).
12/11/21 13:46:36 INFO ipc.Client: Retrying connect to server: master/192.168.9.55:8020. Already tried 4 time(s).
12/11/21 13:46:37 INFO ipc.Client: Retrying connect to server: master/192.168.9.55:8020. Already tried 5 time(s).

URLCat ファイルの内容は次のとおりです。

import java.net.URL;
import java.io.InputStream;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;

public class URLCat {
static {
    URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
}

public static void main(String[] args) throws Exception {
    InputStream in = null;
    try {
        in = new URL(args[0]).openStream();
        IOUtils.copyBytes(in, System.out, 4096, false);
    } finally {
        IOUtils.closeStream(in);
    }
}
}

/etc/hosts ファイルの内容は次のとおりです。

127.0.0.1   localhost
127.0.1.1   ubuntu.ubuntu-domain    ubuntu

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

# /ect/hosts Master and slaves
192.168.9.55    master
192.168.9.56    slave1
192.168.9.57    slave2
192.168.9.58    slave3
4

1 に答える 1

1

まず、Hadoop デーモンが実行されているかどうかを確認します。便利なツールはjpsです。(少なくとも) namenode と datanodes が実行されていることを確認してください。

それでも接続できない場合は、URL が正しいかどうかを確認してください。hdfs ://master/ (ポート番号なし) を指定したため、Hadoop は namenode がポート8020 (デフォルト) でリッスンしていると想定します。これは、ログに表示されるものです。

core-site.xml( fs.default.name ) をすばやく検索するには、ファイルシステム URI (この場合は 54310) に対してカスタム ポートが定義されているかどうかを確認できます。

于 2012-11-21T12:06:23.927 に答える