0

私たちのクラスターでは、最も単純なジョブ「wordcount」でさえローカル モードで実行されています。しかし、oozie を使用して実行された以前のジョブがあり、クラスター モードで実行されていることがわかります。oozie を使用して実行される Hadoop ジョブとネイティブ Hadoop ジョブの競合はありますか? エラースタックトレースは次のとおりです-

java.lang.IllegalArgumentException: Can't read partitions file
    at org.apache.hadoop.hbase.mapreduce.hadoopbackport.TotalOrderPartitioner.setConf(TotalOrderPartitioner.java:111)
    at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62)
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)
    at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:560)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:639)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:323)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:210)

原因: java.io.FileNotFoundException: ファイル _partition.lst が存在しません。org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:408) で org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:251) で org.apache.hadoop.fs.FileSystem.getLength (FileSystem.java:825) at org.apache.hadoop.io.SequenceFile$Reader.(SequenceFile.java:1480) at org.apache.hadoop.io.SequenceFile$Reader.(SequenceFile.java:1475) at org. org.apache.hadoop.hbase.mapreduce.hadoopbackport.TotalOrderPartitioner.setConf(TotalOrderPartitioner.java:82) の apache.hadoop.hbase.mapreduce.hadoopbackport.TotalOrderPartitioner.readPartitions(TotalOrderPartitioner.java:296)

私たちのジョブは、Oozie がインストールされていないテスト クラスターで正常に実行されています。したがって、2つのことが関連しているかどうかはわかりません。前もって感謝します。

Cloudera ディストリビューションを使用しています。

4

2 に答える 2

0

本当に異なる構成を使用しているように聞こえます。まず、実行しているすべてのものが同じHADOOP_HOMEを使用していることを確認します。

于 2012-08-22T14:41:44.227 に答える
0

何度も再試行した後、BigInsights に切り替えました。個人的には、CDH は素晴らしい Hadoop フレーバーだと思います。しかし、最初のインストールを行っていなかったため、依存のオーバーヘッドがプロジェクトにとって大きすぎました。以前に BigInsights で成功したので、それを複製したいと考えています。

于 2012-08-29T21:03:29.217 に答える