1

ファイルをロードして hbase に読み込む Map/Reduce プログラムがあります。Eclipse でプログラムを実行するにはどうすればよいですか? 私はググって2つの方法を見つけました：

1) Using Eclipse Hadoop plugin
2) Create a jar file and execute it in Hadoop server

しかし、接続の詳細を指定して Map/Reduce プログラムを実行し、Eclipse で実行することはできますか? Hbase Map/Reduce プログラムを実行する正確な手順を誰か教えてもらえますか?

4

1 に答える 1

0

私は次のことをしました：

  • マシンに Hadoop (および hdfs) をインストールして構成しました
  • Hadoop ジョブのすべてのクラスを使用して Maven 化された Java プロジェクトを構築しました
  • これらのクラスの 1 つは、Hadoop ジョブを構成して送信する静的なメイン メソッドを持つ「MR」または「ジョブ」クラスです。
  • Eclipse で MR クラスを Java アプリケーションとして実行します。

ジョブは、Java プロジェクトのクラスパスにあるライブラリを使用して Hadoop で実行されます (したがって、ジョブ トラッカーには表示されません)。HDFS ファイルへの参照では、Eclipse 以外の Hadoop インストールを使用してインストールおよびフォーマットした HDFS ファイル システムが使用されます。

これは Eclipse のデバッガーとうまく連携しますが、JUnit テストを手作業で作成するのは少々面倒です。

于 2012-09-05T18:03:08.517 に答える