問題タブ [hadoop-plugins]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Eclipse プラグイン、Hadoop Hortonworks 2.0 をセットアップできない
Hortonworks Sandbox 2.0 を入手しましたが、問題なく動作しています。今、Eclipse から接続しようとしていますが、接続できません。
- Eclipse 上の Hadoop の場所は次のとおりです。
Map/Reduce マスター: ホスト: localhost、ポート: 50020
DFS マスター: ホスト: localhost、ポート:50040
エラーは次のとおりです。
localhost/127.0.0.1:50040 への呼び出しが接続例外で失敗しました: java.net.ConnectionException: 接続が拒否されました: 詳細情報はありません。
Hadoop Eclipse プラグイン 1.2.0 を使用しているため、エラーは Hadoop プラグインの不一致である可能性があると思いますが、Hadoop 2.2 用の Eclipse プラグインが見つかりませんでした。
スレッドHow to use java to connect hadoop 2.2.0 serverからの回答は、現在、Hadoop 2.2.0 用の Eclipse プラグインはないと言っていますか? 誰かがこれを案内してくれますか?
hadoop - MapReduce ドライバーの addInputPath のエラー
MapReduce ドライバーの addInputPath メソッドでエラーが発生しています。エラーは
ドライバーのコードは次のとおりです。
正しい org.apache.hadoop.mapred.FileOutputFormat をインポートします。
私の WordCountMapper は Mapper を正しく実装しています。
FileOutputFormat.setOutputPath は正しく機能します。
addInputhPaths がエラーをスローするのはなぜですか?
hadoop - HDFS Hadoop でビデオ データを保存および処理する方法
ビデオ ファイルがあります。このビデオを Xuggler を使用して画像フレームのセットに変換しました。画像の各フレームを読み取って、何らかの処理を行う必要があります。そのような画像が 2000 個あるとします (私は Xuggler を使用しています。これはビデオを画像に変換し、次に画像をビデオに変換します)。最初の画像で、指定された座標に長方形を描画する必要があると言います。画像のすべての処理が終了すると、すべての画像が Xuggler ツールによってビデオに変換されます。
ビデオファイルは5TB以上の非常に巨大です。Hadoop mapreduce ですべての画像処理作業を行いたいです。Hadoop での画像処理専用の API HIPI を 1 つ見つけました。
ただし、HIPI は MetaData 情報の追加をサポートしていません。各画像に関連付けられたメタデータ情報が必要です。これにより、Mapper で IMAGE ID を把握し、指定された参照ファイルに基づいてその画像 ID を処理できるようになります。注: 画像番号、位置座標などの情報を含む参照ファイルが 1 つあります。画像の。そのため、MapTask で特定の画像を取得すると、画像番号 10 と言うと、指定された座標の形状を描画するなどの画像処理を行います。
HIPIを使用する場合、マップタスクにはImageHeaderがキーとして含まれ、FloatImageが値として含まれます。ImageHeaderには情報がありません（ファイル名でさえありません）。したがって、hdfs分散ファイルを参照データと比較する方法がありません
これを行うための他の良い方法はありますか?
eclipse - Hadoop(1.2.1) Eclipse(Kepler 4.3.1) プラグインのビルド
Eclipse Kepler V 4.3.1 用の Hadoop 用の Eclipse プラグインを構築しようとしました。Web では、JUNO といくつかの以前のバージョンに関する多くの情報が表示されますが、それらの jar を私の eclipse->plugin ディレクトリにコピーしようとしましたが、うまくいきませんでした。したがって、独自のEclipseプラグインを構築しようとしましたが、それでもうまくいきません。Kepler で動作する Hadoop プラグインを持っている人はいますか? 以下は私の他の設定の詳細です: Mac OSX Java バージョン "1.6.0_65"
java - hadoop mapreduce を使用した X12 解析
Hadoop mapreduce コードを使用して x12 ファイルを解析する必要があります。これを行う方法を教えてください。解析された出力は、ハイブなどの他の Hadoop ツールで使用できる必要があります。
ありがとう、ロクト