eclipse-plugin - Hadoop CDH4 と Eclipse Juno

Question

CDH4 インストールに対して Juno 用の Eclipse プラグインの構築に成功した人はいますか?

私はCDH3をネット上で見てきました。CDH4を探しています。どうもありがとう。

Answer 1

Hadoop Eclipse プラグインを参照しているのか、CDH4 に対するコードを開発するためのプラグインを参照しているのかはわかりません。両方の質問にお答えします。

Juno での CDH4 に対する開発: Eclipse (任意のバージョン) で CDH4 コンポーネントに対するアプリケーションを作成する最も簡単な方法は、m2eclipse[1] を使用し、Cloudera Maven リポジトリを pom.xml に追加することです。実際、Cloudera のかなりの部分の人々 (私を含む) は、これを定期的に行っています。最近、当社のエンジニアの 1 人 (Natty) が、CDH4、Maven、Eclipse[2] (およびその他の IDE) を使い始めるための素晴らしいブログ投稿を書きました。それ以外の場合は、JAR を用意する以外に、CDH4 に対してアプリを作成するために特別なことは何も必要ありません。また、Cloudera Maven リポジトリを参照することもできます[3]。

Hadoop プラグイン: ずっと前に、MR ジョブの実行などを可能にする Eclipse 用のプラグインが存在していました。ただし、非常に長い間 (少なくとも 2 ～ 3 年は) メンテナンスされていませんでした。Juno で動作するように更新した人は誰もいないと思います。ましてや、Juno 自体は言うまでもありません。

お役に立てれば。

[1] http://bit.ly/UUGmlB [2] http://bit.ly/O6rkp6 [3] http://bit.ly/UUGwcC

Answer 2

http://iredlof.com/part-4-compile-hadoop-v1-0-4-eclipse-plugin-on-ubuntu-12-10/にある指示に従いました。

システム: ローカル: Windows 7、Eclipse Juno (4.2.2)、hadoop-1.2.1。リモート: 同じ Hadoop バージョンの Debian 7.1。

apache から新たにダウンロードしたバニラの hadoop-1.2.1 に対してプラグインを構築したことを言及する必要があります。

すべてがプラグインで機能するわけではありません: 新しい MR の場所 (私の場合はリモート) を追加でき、DFS からファイルを参照/アップロード/ダウンロード/削除できますが、コードを実行できません (Run as ... Run to Hadoop を使用) ）。コンソールに「ClassNotFoundException: WordCountReducer」と表示されます

良いことは、eclipse によって生成された jar を手動で MR マスターにアップロードし、コマンド ラインから起動できることです。