eclipse - CDH4 で Eclipse を使用する mapreduce プログラム

Question

私はJava、Eclipse、およびHadoopのことは初めてなので、私の質問がばかげていると思われる場合は、私の間違いを許してください。

質問は：

クラウド プラットフォーム上に RHEL5 の 3 ノード CDH4 クラスターがあります。CDH4 のセットアップが完了したので、サンプルの mapreduce プログラムを書き、それについて学びたいと思います。Java mapreduce プログラムを作成するには、メインサーバーに Eclipse をインストールする必要があります。どのバージョンの eclipse を使用する必要がありますか。また、Eclipse をインストールするだけでは十分ではありません。CDH クラスターを使用できるように設定を変更する必要があります。これを行うには何が必要ですか? そして最後になりましたが、私がこれらすべての初心者であることを覚えておいてください.. :)

前もって感謝します... pankaj

Answer 1

Pankaj、いつでも公式ページにアクセスできます。これとは別に、次のリンクが役立つ場合があります。

• http://blog.cloudera.com/blog/2013/08/how-to-use-eclipse-with-mapreduce-in-clouderas-quickstart-vm/
• http://cloudfront.blogspot.in/2012/07/how-to-run-mapreduce-programs-using.html#.UgH8OWT08Vk

メイン サーバー (メイン サーバー = マスター マシン???) に Eclipse をインストールすることは必須ではありません。eclipse の最後の 3 つのバージョンはどれも問題なく動作します。以前のバージョンについてはわかりません。Eclipse を介してジョブを直接実行するか、Eclipse でジョブを記述して jar としてエクスポートすることができます。次に、この jar を JT マシンにコピーし、hadoop/jarコマンドを使用してシェルから実行できます。Eclipse を介して直接ジョブを実行している場合は、次のプロパティを使用して NameNode および JobTracker マシンの場所を伝える必要があります。

Configuration conf = new Configuration();
conf.set("fs.default.name", "hdfs://NN_HOST:9000");
conf.set("mapred.job.tracker", "JT_HOST:9001");

(構成に従ってホスト名とポートを変更します)。

ただし、簡単な提案が1つあります。質問を投稿する前に、いつでもこれらの種類のものを検索できます。多くの情報がネット上で入手可能であり、非常に簡単にアクセスできます。

HTH