java - $HADOOP_HOME の外で Java プログラム (HDFS JAVA API を使用) を実行する

Question

HDFS上のファイルにテキストを読み書きする単純なJavaプログラムがあります。hadoop HDFSReadWrite textを使用して実行します。

Eclipse から実行したり、他の Java プログラムと同じように実行したり、Hadoop 環境外で HDFS を使用したりしたいと考えています。それを行う方法はありますか？私はそれが本当に必要です。

Answer 1

Eclipse で mapreduce ジョブを実行できました。HDFS プログラムと大差ないはずです。

• コマンド プロンプトから namenode と datanode を起動します。
• Eclipse で Java プロジェクトを作成します。
• 共通、hdfs、および必要な jar ファイルを含めます。
• プロジェクトに HDFSReadWrite.java ファイルを含めます。
• 以下のパラメーターを Java プログラムに渡します。「-- config ConfigurationDirectory テキスト」
• HDFSReadWrite を実行する

jar ファイルを含める代わりに、対応する Eclipse プロジェクトをビルド パスまたはデバッグ用に添付された src jar ファイルに含めることができます。

Java プロジェクトを作成する代わりに、hadoop-eclipse-plugin-*.jar ファイルを Eclipse プラグイン フォルダーにコピーし、「Map/Reduce Project」を作成します。次に、必要な jar ファイルが自動的に含まれます。

さまざまなコマンド オプションは、次の URL に記載されています。

http://hadoop.apache.org/common/docs/r0.21.0/commands_manual.html