Hadoop Eclipse プラグインを使用して WordCount の例を実行したいと考えています。
私はシステムを持っています：ローカル：Windows 7、Eclipse Juno（4.2.2）、hadoop-1.2.1を解凍しました。リモート: 同じ Hadoop バージョンがインストールおよびテストされた Debian 7.1。
http://iredlof.com/part-4-compile-hadoop-v1-0-4-eclipse-plugin-on-ubuntu-12-10/にある指示に従い、 Windows マシンでプラグインをビルドしました。
Hadoop は実行されており、hadoop-examples wordcount と新しく作成した WordCount でテストされています。
プラグインで動作するもの:
- 新しい MR プロジェクトを作成できます
- 新しい MR ロケーションを追加できます (私の場合はリモート)
- DFS からファイルを参照/アップロード/ダウンロード/削除できます。
機能しないもの:
- コードを実行できません (Run as ... Run to Hadoop を使用)。コンソールに「ClassNotFoundException: WordCountReducer」と表示されます。同じエラーが Hadoop ジョブ ログで見つかります。
プロジェクトから jar をエクスポートし、リモート マシンにコピーして、コマンド ラインから Hadoop を起動しました。すべてが期待どおりに機能しました。
また、リモート マシンでプロジェクトを手動で起動すると、hadoop が user/.staging ディレクトリに job.jar を作成することもわかりました。Eclipse からプロジェクトを起動すると、この jar が見つかりません。
私の質問は: Eclipse プラグインからプロジェクトを実行するにはどうすればよいですか?
ありがとう