0

半分散モードでローカルに正常に動作する Hadoop 1.0.4 アプリケーションを作成しました。また、クラスターに Cloudera Hadoop 4 をインストールしました。CDH4 は Hadoop サイトで安定版としてリストされているため、hadoop 1.0.4 を実行すると思っていましたが、そうではないようです。クラスターでアプリケーションを実行すると、次のエラーが発生します。

12/11/27 16:14:38 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
12/11/27 16:14:38 INFO input.FileInputFormat: Total input paths to process : 16
12/11/27 16:14:39 INFO mapred.JobClient: Running job: job_201211271520_0004
12/11/27 16:14:40 INFO mapred.JobClient:  map 0% reduce 0%
12/11/27 16:14:50 INFO mapred.JobClient: Task Id : attempt_201211271520_0004_m_000013_0, Status : FAILED
Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
12/11/27 16:14:50 INFO mapred.JobClient: Task Id : attempt_201211271520_0004_m_000000_0, Status : FAILED
... and so on...

これは、CHD4 が hadoop 1.0.4 と互換性がないためだと思いますか? もしそうなら、hadoop 1.0.4 と互換性のあるバージョンを知っている人はいますか? 私は自分のアプリケーションを書き直すよりむしろ Cloudera ソフトウェアを切り替えます。

4

1 に答える 1

3

あなたは正しいです; CDH3 はバージョン 0.20.2 を使用し、CDH4 はバージョン 2.0.0 を使用します。Hadoop バージョンの命名法はごちゃごちゃしており、私はそれを理解しているふりをしません。ただし、Cloudera によるこのブログ投稿に記載されている次の内容に基づいて、CDH3 を使用できるようです。

"The CDH3 distribution incorporated the 0.20.2 Apache Hadoop release plus the features of the 0.20.append and 0.20.security branches that collectively are now known as “1.0.” The Apache Hadoop in CDH3 has been the equivalent of the recently announced Apache Hadoop 1.0 for approximately a year now."

もしそうなら、CDH3を試してみます。うまくいかない場合は、Cloudera のインストール以外に何かを探す必要があるかもしれません。

于 2012-11-27T15:46:46.633 に答える