問題タブ [webhdfs]

Java を使用してセキュア ノードからファイルを取得するために webhdfs 呼び出しを行いたいと考えています。

これが私がやっていることです1.キータブを使用してログインします（正常に動作します）。kerberos チケット 2 を取得しています。以下のコードを呼び出そうとすると、https 呼び出しを行って delegationtoken を取得しようとし、401 https://mynode:50070/webhdfs/v1で失敗します。 /?op=GETDELEGATIONTOKEN&user.name=myuser

hdfs ファイル FileSystem webFS = FileSystem.get(new URI("swebhdfs://" + domain + "myfile"), conf); を開くコードは次のとおりです。
BufferedReader br=new BufferedReader(new InputStreamReader(webFS.open(new Path("swebhdfs://" + domain + "myfile"))));

私の質問は、kerberos チケットを持っているため、それを UserGropupInformation オブジェクトに渡すにはどうすればよいですか?

ありがとう、

webhdfs を使用して Hadoop hdfs に 28 GB のファイルをロードしていますが、ロードに約 25 分かかります。

hdfs put を使用して同じファイルをロードしようとしましたが、6 分ほどかかりました。なぜこんなにも性能に差が出るのか?

おすすめの使い方は？誰かが説明したり、良いリンクに案内したりできますか?それは本当に役に立ちます.

私たちの下に、私が使用しているコマンドがあります

これは、次のステップでデータを書き込むために使用するデータノード アドレスにリダイレクトされます。

R でWebHDFS REST APIを使用するためのサポートはありますか? python パッケージに似たものはありますか?

Hadoop では、knox + webhdfs を介して HDFS にアクセス/取り込みできるデータのサイズに制限はありますか?

Hive には、REST ベースの API を介して HIVE テーブルをクエリするために WebHCat を使用するオプションがあります。

WebHCat には 2 つの呼び出しが必要です -

• 1 を呼び出して、webhcat 経由でクエリを送信します。

• 2 を呼び出して、webhdfs 経由で出力ファイルを取得します。

Java/Python/.NET などを必要とせずに、アプリケーションが HIVE データベースへの REST ベースの呼び出しを行うことができる webhcat の代替手段はありますか?

ありがとう、マニッシュ

Kerberos セキュリティが原因で、ブラウザーから WebHDFS にアクセスできません。誰でもこれで私を助けることができますか？

以下は、「http://****.****/webhdfs/v1/prod/snapshot_rpx/archive?op=LISTSTATUS&user.name=us」に対するブラウザーのエラーです。</p>

HTTP エラー 401

/webhdfs/v1/prod/snapshot_rpx/archive へのアクセスに問題があります。理由: 認証が必要です

この URL へのリクエストを行うための .Net コード