問題タブ [webhdfs]

Hadoop クラスター (Cloudera 5.4.1) でこのコマンドを試しています。

ここで、webhdfs、namenode マシン名がすべて正しく、ポート 50075 と 8022 が正しいことを確認しました。

しかし、私はエラーが発生します

HDFS のパス /user/admin/foo.txt に単純なファイルを作成しました

このファイルの内容を Hue で見ることができます。

コマンドの発行方法

私は応答を得る

content-length が 0 なのはなぜですか?? これがファイルの内容をリストすることを望んでいました。

hdfs クラスター (hadoop 2.7.1) があり、namenode が 1 つ、セカンダリ namenode が 1 つ、datanode が 3 つあります。

webhdfs を有効にしてテストすると、データノードとして構成されていない "localhost:50075" に常にリダイレクトされることがわかりました。

etc/hadoop/slaves は次のように構成されています。

これに関する設定はありますか？

ありがとう！

このすべてのリンクでWeb Hdfsについて読みました

リンク1 リンク2 リンク 3

telnet で確認中 - ポートは開いています

cloudera (仮想ボックス) で必要な設定を行い、webhdfs を cloudera で直接テストできるようにします。

cloudera Web ブラウザーで直接試してみると、次の場合にも機能します。

PINGを送信できますC:\Users\User>ping 10.0.0.88

ポート 50070 で動作する Telnet。

ただし、このコマンドをクラスター外で試すと、機能しません (HOST)

詳細
LISTSTATUS は HOST から動作します

戻り値

しかし op=OPEN from HOST

戻り値

何が問題なのですか？

私の開発環境に関するいくつかの情報:

オープンスタック: ジュノ

ハドゥープ: 2.4.1

pywebhdfs: 0.4.0

openstack sahara クライアント API を使用して Hadoop クラスターを作成し、 pywebhdfs (作成した Hadoop クラスターでジョブを起動するため)を使用して HDFS にファイルを作成したいと考えています。ただし、HDFS ファイルの作成時にエラーが発生します。エラー メッセージは次のとおりです。

/etc/hosts を確認すると、すべてのノードの IP とホスト名がリストされています。考えられる問題を検出する方法を知っている人はいますか? ありがとう

Hadoop を初めて使用するので、半構造化データ (XML) を HDFS にインポートしたいと考えていました。リモートの場所から HDFS に XML データをインポートする方法と、それに使用されるオープン ソース ツールは何ですか? Flume は XML データを HDFS にインポートできますか? 前もって感謝します

次のように webhdfs ライブラリを使用して、ファイルを hdfs (hadoop ファイル システム) に移動しています。

問題は、終了コールバックがそれぞれの場合、つまりエラー時と成功時にトリガーされることです。そのため、成功をどのように識別できますか。