問題タブ [webhdfs]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - 特定のジョブの tasktracker ログをプログラムで取得する
こんにちは、OozieClient API を使用しています。OozieClient API を使用して、特定のワークフロー ジョブのタスク トラッカー ログを取得する必要があります。OozieClient API を使用しない場合は、プログラムを使用する他の方法でも問題ありません。現在、OozieClient を使用すると、client.getJobLog() を使用してジョブ ログを取得できますが、ジョブ ログではなく、タスク トラッカー ログが必要です。親切に助けてください。
node.js - HDFS に書き込むには、どの nodejs ライブラリを使用すればよいですか?
nodejs アプリケーションがあり、hadoop HDFS ファイル システムにデータを書き込みたいと考えています。node-hdfs と node-webhdfs の 2 つの主要な nodejs ライブラリを見てきました。誰かがそれを試しましたか？ヒントはありますか？本番環境ではどちらを使用する必要がありますか?
WebHDFS REST API を使用するため、node-webhdfs を使用する傾向があります。node-hdfs は c++ バインディングのようです。
どんな助けでも大歓迎です。
java - スキームのファイルシステムがありません: webhdfs
HDFS にデータをプッシュするクライアントを構築しています。HDFS はファイアウォールの背後にあるクラスター内にあるため、HttpFS をプロキシとして使用してアクセスします。IOExceptionHDFS に読み書きしようとすると、クライアントが終了します。メッセージはNo FileSystem for scheme: webhdfs. コードはとてもシンプルです
最後の行でクラッシュします。私は Maven 3.0.4 でビルドしており、プロジェクトに Hadoop-Client 依存関係 2.2.0 を追加しました。curlコマンドラインからのアクセスは正常に機能します。
これが失敗する理由はありますか？
hadoop - Hadoop ファイル コピー ネイティブ Java API と WebHDFS の比較
HDFS からローカルにファイルをコピーする必要があります。今、私には 2 つのオプションがあります。1) Hadoop Native Java API (FileSystem) を使用するか、2) WebHDFS を使用します [クラスターで有効にしても問題はありません]
誰かが好ましいオプションとその理由を教えてもらえますか?
hadoop - WebHDFS と SequenceFiles
WebHDFS がサポートしていないというのは本当SequenceFilesですか?
私はそれを言うものを見つけることができません。私は通常の小さなファイルの問題を抱えており、SequenceFiles十分に機能すると信じていますが、WebHDFS を使用する必要があります。を作成してから、SequenceFileWebHDFS 経由で追加する必要があります。
hadoop - リモート Hadoop クラスタのバージョンを特定する
api/web-services を介してリモート Hadoop クラスターのバージョンを特定するにはどうすればよいですか? つまり、クラスターが 1.x タイプか 2.x タイプか? 同じために利用できる API/Web サービスはありますか?
私はwebhdfsを研究しましたか？hadoop ファイルシステムですが、それを行う方法を特定できませんでしたか?