問題タブ [webhdfs]

Windows で SASL を使用して hadoop-2.6.0 の kerberos セキュリティを構成しました。

すべて正常に動作します。しかし、webhdfs は https プロトコルでは機能しません。

https://hostname:50470/webhdfs/v1/?op=LISTSTATUS でテストしました

以下のプロパティを設定しました。しかし、まだ同じエラーがあります。

助けていただければ幸いです。

ありがとう。

WebHDFS は、「名前の変更」、「削除」、およびその他の基本的なファイル操作のためのフックを提供します。ただし、コピー用の API フックはありません。誰かがそれを説明したり、良い回避策を教えてくれませんか?

ありがとう！

クラスター化された名前付きノードのセットアップがあります。名前付きノードは、アクティブおよびパッシブになるように構成されています。

WEBHDFS 呼び出しを行うと、提供される URL は

http://:/webhdfs/v1/

2 つの名前付きノードを使用できるため、2 つの URL を使用できます

http://:/webhdfs/v1/ - 現在アクティブ http://:/webhdfs/v1/ - 現在パッシブ

私の質問は次のとおりです。名前付きノードはいつでもフェイルオーバーできます。HOST で提供する価値は? サービス名を指定する必要がありますか? リダイレクトを処理する HDP プラットフォームで通常構成されている仮想 IP はありますか?

または、呼び出し元のアプリケーションに影響を与えずにフェイルオーバーが処理されるように、名前付きノードの前にロード バランサーまたはゲートウェイを配置する必要があります。

私は研究プロジェクトに取り組んでおり、HDFS への呼び出しをトラップし、ユーザーに返す前に (ファイルの) アクセス/拒否ポリシーを適用できるように、HDFS 用のある種のプロキシを作成する必要があります。HttpFs や WebHDFS などの HDFS のインターフェイスでは、クライアントとの通信に HTTP を使用するため、プロキシ システムを簡単に設計できます。ただし、HDFS ドライバーは、プロトコル バッファーを使用して定義されたプロトコルを使用して、クライアントと namenode 間の通信を行います。HDFS ネイティブ プロトコルの周りにプロキシを設計するための HDFS コード内のフックはありますか。このための Hadoop バージョンは 2.6 です。

1. 2 つのホスト (hadoop-coc-1 と hadoop-coc-2) を使用して、それらのホストで HDFS のフェデレーションを構成しようとしています。したがって、$ cat etc/hadoop/hdfs-site.xml両方のホスト (hadoop-coc-1 と hadoop-coc-2) で を構成しました。

どちらの HDFS も WebHDFS で適切に実行されています。ただし、この構成では、defaultFS サービスは実行されていません。おそらくこれが、ローカル ディスクから HDFS にデータをコピーできない理由です。

次のコマンドでデータをコピーしようとしました：

ローカル ディスクから WebHDfS プロトコルを使用している HDFS にデータをコピーできない理由がわかりません。このエラーを理解するのに役立ちますか? ローカル ディスクから HDFS にデータをコピーできないのはなぜですか? hdfs-site.xml を適切に構成しましたか?

hadoop-coc-1 および hadoop-coc-2 ホストの hdfs-site.xml。

2. HDFS のフェデレーションにより、複数の名前空間を使用して HDFS にアクセスできます。私の設定 (hdfs-site.xml を参照) では、hadoop-coc-1 と hadoop-coc-2 ホストは同じ HDFS への名前空間を持っています。同じ HDFS を使用する各ホストで 2 つの YARN ランタイムを実行することは可能でしょうか?

私のバージョンの webHDFS (2.6) に関するこのドキュメントに従っており、既に存在するシステム内のファイルに追加しようとしています。

私を混乱させている問題は、最初の POST を実行した後に適切なデータノードへのリダイレクトを受け取るとドキュメントに記載されていることですが、実際には 200 を取得しており、本文に渡したデータは最初のリクエストで正しく追加されています。 .

リクエストを 1 つだけ行うだけであれば、これで問題ありませんが、他の Hadoop 環境でも機能することを確認したいのですが、ドキュメントで約束されている 307 レスポンスが得られないことが懸念されます。私は分散モードで実行しています (ただし、ローカル マシン上だけです)。誰もこれに遭遇しましたか？

C++ で記述されたアプリケーションから HDFS にファイルを保存しようとしています。コマンドライン/ターミナルでcurlを使用できることは知っています：

最初に PUT リクエストを送信し、

リダイレクトされたアドレスでデータノードにデータを書き込み、

C ++でlibcurlを使用してHDFSにデータを直接保存する方法を知りたいです。

注: GET リクエストを送信することができ、すべてが完全に機能します。

「リソースマネージャー」と「hdfs namenode」は常に同じホストにインストールされていますか?

1) http リクエスト (YARN REST API) を送信して新しいアプリケーション ID を取得する場合、次のWeb URI を使用しています。

このポートは Resource-Manager Web UI の http ポートです。img1 に示すように、デフォルト値は 8088 です: img1のソース

2）hdfsコマンドのhttpリクエスト（WebHDFS REST API）を送信したい場合、たとえばファイルステータスを取得するために、このWeb URIを使用しています：

これ<PORT>は NameNode WebUI http ポートです。img2 に示すように、デフォルト値は 50070 です: img2のソース

これらのコンポーネント (ResourceManager と NaneNode) のホストは、常に同じホストにインストールされていますか?

助けていただければ幸いです、ありがとう！