1

アプリケーションに Apache Hadoop 1.0.0.M2 の Spring を使用しています。アプリケーションは、maven アセンブリ プラグインを使用してバイナリ ディストリビューションとしてパッケージ化され、java -jar mlprocessor.jar を使用してクラスター上で実行されます。

jar 内のマニフェスト ファイルには、Spring コンテキスト ファイルをロードする Main クラスへの参照が含まれています。ジョブは正常に実行され、結果も表示されます。ただし、Job Tracker GUI にはこのジョブの痕跡はありません。

ただし、ログには次の警告が表示されます。

WARN [org.apache.hadoop.util.NativeCodeLoader] - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

誰かがこの問題を認識しているかどうか、または私が見逃しているものがあるかどうかを確認したかったのです。

4

1 に答える 1

0

Spring Hadoop フォーラム (http://forum.springsource.org/showthread.php?131245-Job-not-appearing-on-JobTracker-user-interface) に同じ質問を投稿し、そこで回答を受け取りました。

hdp:configuration に「mapred.job.tracker」プロパティの設定がありませんでした。構成を以下に変更した後、ジョブ トラッカー UI はこのジョブを追跡できるようになりました。

<hdp:configuration>
    fs.default.name=${fs.default.name}
    mapred.job.tracker=${mapred.job.tracker}
</hdp:configuration>
于 2012-10-30T10:25:57.077 に答える