問題タブ [webhdfs]

私はcurlコマンドを使用してhadoop(webhdfs)にアクセスしており、http応答の解析にはpythonを使用しています。

しかし、curl コマンドを実行すると、複数の応答が返されます。

これらの複数の応答をPythonで解析するにはどうすればよいですか?

ありがとう

私は Hadoop に取り組んでいますが、より優れたオープン ソースの HDFS エクスプローラーを探しています。Apache Hueで終わりました。

Linux の場合はマニュアルがありますが、Windows の場合はどうでしょうか。

Hadoop HDFS がファイルのダウンロードとアップロードの一時停止/再開をサポートできるかどうかに関する情報は見つかりませんでした。HDFS がこの目的のために提供するすぐに使用できる機能はありますか? もしなければ、mapreduce ジョブを使用して実装できますか? たとえば、大きなファイルをアップロード (またはダウンロード) するときに、一時停止して後で続行したい場合、Web ブラウザー (HTTP 接続、webhdfs?) から、または Java プログラムを介して (おそらく HDFS API を使用して) プログラムでこの機能を探しています。 .

コマンドでhadoopでflumeを実行します

そして今、私はtwitterデータを保存することができません。エラーを示します。以下にエラーを投稿しました。何かわかりますか??

以下のように、コマンド ラインから webhdfs を使用して、cdh5 マシンから cdh4 クラスターに存在する hdfs ファイルを開こうとしています。

JSONML.java ファイルが namenode と datanode の前述のパスに存在し、そのトレースが次のようになっている場合でも、「File Not Found Exception」が発生します。

しかし、以下のコマンドを使用すると、エラーは発生せず、上記のファイルのステータスが取得されます。

次のような出力応答が得られます。

ファイルを開くことが失敗する理由とその修正についてのアイデアをいただければ幸いです。

こんにちは、pywebhdfs python lib を使用しています。HDFSでファイルを呼び出して作成しようとすることで、EMRを接続しています。ここでは接続制限に達していないため、実行していることとは無関係と思われる例外を下回っています。それはwebhdfsの仕組みによるものですか

スロー:

requests.exceptions.ConnectionError: HTTPConnectionPool(host='masterDNS', port=50070): URL で最大再試行回数を超えました: /webhdfs/v1/user/hadoop/data/myfile.txt?op=CREATE&user.name=hadoop (原因: NewConnectionError(': 新しい接続の確立に失敗しました: [Errno 115] 操作が進行中です',))

hdfs の core-site.xml に次の構成を追加した後、/user/X/.Trashwebhdfs 削除 API を使用すると、フォルダーが作成されません。

予想されるのは、削除されたすべてのファイルは.Trash、ごみ箱の間隔でフォルダーにある必要があるということです。ただし、hadoop コマンド ( hadoop fs -rm /test/1) を使用すると機能します。誰にもアイデアはありますか？