問題タブ [webhdfs]

Hadoop ファイルシステムは初めてです。Hadoop FileSystem に関連する Google で役立つリンクは見つかりませんでした。

Hadoop FileSystem を使用しながら、Kerberose を使用して認証したいと考えています。

サンプルコード:

上記のコードで kerberos 認証を行うにはどうすればよいですか? 原則とキータブの値を設定するには?

HDFS から vertica にデータをロードしたいのですが、データの time_stamp 値が Unix エポック形式であり、Vertica の TIMESTAMPTZ として vertica にロードしたいと考えています。

この場合、オンザフライでキャスト関数を使用する方法がわかりません。誰でもこれで私を助けてくれますか?

以下にキャストを追加したい

または、これを行うための他の/より良い方法はありますか?

HDFS のセーフモード ステータスを確認するために使用できる RestAPI はありますか? 現在、以下のコマンドを使用してステータスを取得していますか?

ありがとう

WebHDFS REST APIとHttpFSの違いは何ですか?

私が正しく理解していれば：

• HttpFS は、HDFS の上に REST API を公開する独立したサービスです。
• WebHDFS は HDFS に組み込まれた REST API です。それ以上のインストールは必要ありません

私は正しいですか？

一方を他方の代わりに使用することをお勧めするのはいつですか?

wedhdfs の Spring サポートはありますか? Googleで役立つリンクが見つかりませんでした。

webhdfs経由で通常認証とkerberos認証でhadoopに接続したい。これは春にサポートされますか?

有用なリンクは役に立ちます。

ありがとう

HDFS システムにデータを移動する方法を探していましたが、Apache Sqoop を使用して外部 REST サービスからデータをプル/抽出できるかどうかを知りたいですか?

WebHDFS を有効にすると、curl コマンドを介したアクセスは機能しますが、ajax を介して同じ要求を行うと、空の応答が返されます。

たとえば、「NOTICE.txt」は HDFS に追加されたファイルであり、「new」は HDFS のルート ロケーションに作成された新しいディレクトリです。

ajaxの場合、両方を試しました:-

（と）

curl コマンドは機能しますが、ajax はステータス コード 200 で空の応答を受け取ります。POSTMAN などの残りのクライアントを介して同じ URL をヒットしようとすると、機能しました! では、なぜ ajax 呼び出しが機能しないのでしょうか?? javascript ajax を介して webHDFS REST API を呼び出すときに、追加のパラメーターを渡す必要がありますか?

カールの結果:

HTTP/1.1 200 OK 有効期限: Thu, 01-Jan-1970 00:00:00 GMT Set-Cookie: hadoop.auth="u=hadoop&p=hadoop&t=simple&e=1412285804171&s=EmNooXqRZRuQLsMoz3AXP83+7zg=";Path=/ Content-タイプ: application/json Transfer-Encoding: チャンク サーバー: Jetty(6.1.26)

{"FileStatus":{"accessTime":1412246288609,"blockSize":67108864,"group":"supergroup","length":101,"modificationTime":1412246288609,"owner":"vivek","pathSuffix": "","パーミッション":"644","レプリケーション":1,"タイプ":"ファイル"}}

しかし、ajax は次のことを示しています。

リクエストとレスポンスのヘッダー: