問題タブ [webhdfs]

webHDFS REST API を介して HDFS にファイルを書き込むために、MultiPartEntity で HttpPut を実行しています。リクエスト自体は通過し、正しいレスポンス 307 と 201 が返されます。ただし、画像には、以下に示すように、その一部としてマルチパート ヘッダーも書き込まれており、取得して開くのに有効な画像ではありません。

--8DkJ3RkUHahEaNE9Ktw8NC1TFOqegjfA9Ps
Content-Disposition: フォームデータ。名前="ファイル"; filename="advert.jpg"
Content-Type: application/octet-stream

ÿØÿàJFIFHHÿÛC // 残りの画像コンテンツ
--8DkJ3RkUHahEaNE9Ktw8NC1TFOqegjfA9Ps

画像ファイルからマルチパート ヘッダーを削除すると、有効な画像になりますが、そもそもそれを回避する方法がわかりません。webHDFSが実際にファイルを書き込む責任があるため、これを制御できるかどうかさえわかりません。

これが私のコードです。他にすべきことはありますか？

どんな助けでも大歓迎です。

Kerberos (CDH4.3) を使用してセキュリティを有効にして Hadoop HDFS を構成しました。コマンドラインツールを使用してすべての操作を実行できます。REST API を介して HDFS ファイル システムにアクセスする必要がある非 Hadoop クラスター ノードが他にもいくつかあるため、Kerberos を構成して webhdfs を有効にしています。

私の安全な webhdfs は、一時的なリダイレクトを必要としない操作に対して正常に動作します。つまり、LISTSTATUS、ディレクトリの作成、ディレクトリの削除、ファイルの削除など、すべて正常に動作します。ただし、ファイルの作成、ファイルを開くなどの 2 ステップの操作では、以下の情報で失敗しました。

光を当てることができる人はいますか？

どうもありがとう、

バックエンドの一部をローカルで実行し、ローカル コンピューターから EC2 インスタンスにリクエストを送信する環境をセットアップしようとしています。CDH 4.5 をセットアップしましたが、問題なく動作します。次のリクエストを実行すると

これは、そのリージョン内の任意の EC2 インスタンスから機能しますが、それ以外では機能しません。ローカルで試すと、次のエラーが返されます

通話をこのようにリダイレクトしないように設定できる場所がわかりませんか?

どうもありがとう

webhdfs API を介して HDFS からファイルを開こうとしています。ファイルを作成してアップロードできますが、開こうとするとこのエラーが発生します

次のコマンドを使用して

複数のマシンから（マスターノードから、またはリモートで）これを試しましたが、同じエラーが発生します。CHD4.6で動いています。

ありがとう、

gem 'webhdfs' を使用して、ファイルをチャンク単位で HDFS にアップロードしたいと考えています。ドキュメントには create メソッドがあることがわかりますが、それを使用して大きなファイルをチャンクでアップロードする方法がわかりません。誰もこれを試しましたか？

node.js と HDFS に関する情報を読む必要があります。私はCentosで働いています。HDFS にファイルがあり、それをコンソールで読み取って印刷したいと考えています。ファイルを書き込むための node.js プログラムを作成しましたが、動作します。しかし、HDFS ファイルを印刷したいのですが、うまくいきません。

これが私のコードです：

HDFS と node.js に関する情報を提供してくれる人はいますか?

こんにちは友人私は、Hadoop 分散ファイル システムからのデータを処理するためのマップ削減コードを記述し、レデューサー出力に基づいてさまざまなグラフを描画する必要がある Web アプリケーションを開発しているので、Eclipse で Java でアプリケーションを開発しています。これを行う？