hadoop - Hadoop MR マッパー クラスが scala play フレームワークで見つからない

Question

Play 2.0.1 scala で MR ジョブを実行しようとしていますが、ジョブのクラスパスにロードされたマッパー クラスを取得できません。Hadoop でジョブを実行するたびに、classnotfoundException が発生します。対応するjarをロードするために、クラスへの参照を（いくつかの異なる方法で）すでに追加しましたが、成功しませんでした。手がかりをいただければ幸いです。

ありがとう！-カルロス。

Answer 1

開発モードから MR ジョブを実行していたとします。play dev モードから MR ジョブを実行すると、いくつかの問題が発生します。問題の 1 つは、マッパー/リデューサーを含む jar がまだ作成されていないため、TaskTracker ノードでマッパー/リデューサー クラスが見つからないことです。これが私の解決策です：

http://ben-tech.blogspot.com/2013/04/run-mapreduce-in-play-development-mode.html

もう 1 つの問題は、Play 実行コマンドで使用されるクラス ローダーによって引き起こされます。Run コマンドは、Class.forName を使用するときにクラスがクラスパスに含まれないように、依存関係の jar のみを持つクラス ローダーを作成します。これに対する解決策はまだありません。