問題タブ [webhdfs]

HDFS に関連するファイルがいくつかあり、そのイメージを参照したいと考えています。ブロック サイズは 64b に縮小されているため、ファイルをすぐに読み取ることはできません。そのチュートリアルhttps://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsImageViewer.htmlに従って、すべてのファイルとディレクトリの情報を取得しましたが、コマンドhdfs dfs -lsを実行すると-R webhdfs://127.0.0.1:5978/ファイルを含まないディレクトリのみを表示します。

ブロックサイズが小さすぎるためですか?そうであれば、それを増やすにはどうすればよいですか? 助けてください..

ありがとう

Kerberos セキュリティが原因で、ブラウザー (IE8) から WebHDFS にアクセスできません。誰でもこれで私を助けてもらえますか?

「curl」を使用しましたが正常に動作します

curl -i --negotiate -u:qjdht93 "http://:50070/webhdfs/v1/user/qjdht93/?op=LISTSTATUS"

以下は、ブラウザの「http://:50070/webhdfs/v1/user/qjdht93/?op=LISTSTATUS」のエラーです。</p>

Kerberos で保護されている URL にアクセスする手順を説明する以下のリンクを見つけました。役に立つかもしれません

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_sg_browser_access_kerberos_protected_url.html

WinInet を使用してファイルを Hadoop にアップロードしようとしています。私は正しく考えることができるすべてのことをしています。IOW、リダイレクトの取得を含め、WebHDFS の REST API に従っています。次に、リダイレクトで提供された URI を使用して新しいリクエストを送信します。2 番目の要求を行うと、Fiddler でスパイすると、本来の HTTP ステータス コード 201 が返されることがわかります。

2 番目の要求は次のようになります。

1. HttpOpenRequest()PUT の動詞で呼び出すために必要な WinInet 処理を行います (成功)
2. hRequestHttpSendRequestEx()を除くすべての NULL で呼び出す (成功)
3. を使用してファイルにデータを書き込みますInternetWriteFile()（書き込みを試みたのと同じ正しい書き込みバイト数で成功します）
4. 呼び出しHttpEndRequest()(成功)

すべてが成功し、当然のことながら、データはサーバー上にあるはずです。代わりに、空のファイルがあります。curl を使用して同じことを試みると、成功します。Fiddle を使用して WinInet をスパイすると、データがサーバーに書き込まれていることがまったく確認されないことを除いて、すべてが成功していることがわかります。

HttpEndRequest() を呼び出した後に返されるヘッダーは次のとおりです。

私の腸は、私がやっている InternetWriteFile() で何かが台無しになっていると言いますが、すべてのリターン コードと書き込み値は正常にチェックアウトされます。

私が見逃している WinInet で PUT を実行するためのトリックはありますか?

ローカル ファイル システムから HDFS にデータを取り込むために webhdfs を使用しています。ここで、HDFS に取り込まれたファイルの整合性を確保したいと考えています。

転送されたファイルが破損/変更されていないことを確認するにはどうすればよいですか?

以下の webhdfs コマンドを使用して、ファイルのチェックサムを取得しました

取り込まれたファイルの整合性を確保するには、上記のチェックサムをどのように使用すればよいですか? 提案してください

以下は私が従っている手順です

ローカル システム上のファイルのチェックサムが、HDFS 上の同じファイルとは異なります。チェックサムを比較する必要があります。どうすればよいですか?

Docker コンテナーで実行されている Spark イメージがあります。コンテナー外のホスト マシンからWebHDFS を使用して、Spark によって HDFS に保存された結果にアクセスしたい。このために、ファイルの内容を提供する前にリダイレクトを持つOPEN APIを使用しています。-PDocker イメージの実行中に、フラグを使用してすべてのポートを転送しています。

ホスト マシンで公開されている高いポートを使用して、ディレクトリの一覧表示などの他の操作を実行できます。ただし、ファイルを読み取る場合、HTTP リダイレクトがあるため、REST 呼び出しは失敗します。

これを解決する方法はありますか？

1 つのテキスト ファイル (サイズ 1 GB) があるとします。ファイルから特定の単語を検索したいのですが、見つかった場合は行番号を返す必要があります。

Linuxでコマンドラインを使用してJavaプログラムを実行できます。しかし、私が欲しいのは、REST API を使用したインターフェイスです。

GUI（My Interface）でその単語を送信してリクエストを送信すると、 HDFS を呼び出すことができ、コマンドはそれ自体で提供され、結果が返されます。

この問題にどのようにアプローチできますか? (私は REST API について非常に初歩的な知識を持っています)

言及

https://hadoop.apache.org/docs/r1.0.4/webhdfs.html#ParameterDictionary[]

https://www.youtube.com/watch?v=7YcW25PHnAA