7 
<property>
<name>mapreduce.fileoutputcommitter.marksuccessfuljobs</name>
<value>false</value>
</property>

上記のプロパティを true にオーバーライドしたいと思います。クラスター上の残りのジョブではプロパティを false にする必要がありますが、私の Oozie ワークフローでは、ジョブの完了後に出力ディレクトリに _SUCCESS ファイルを作成するために Hadoop が必要です。出力を書き込むワークフローのハイブ アクションです。助けてください。

4

3 に答える 3

8

残念ながら、Hive は独自の NullOutputComitter を設定することで、この機能をオーバーライドします。

conf.setOutputCommitter(NullOutputCommitter.class);

見る

src/shims/src/0.20/java/org/apache/hadoop/hive/shims/Hadoop20Shims.java
src/shims/src/common-secure/java/org/apache/hadoop/hive/shims/HadoopShimsSecure.java

手動でフラグを作成する必要があるようです。これについては、 HIVE-3700を提出しました。

于 2012-11-09T22:01:43.650 に答える
0

私は同じ問題に遭遇し、シェルアクションを使用してフラグを作成することになりました。

完全な例を次に示します: http://nathan.vertile.com/blog/2014/09/02/oozie-data-pipeline-done-flag/

于 2014-09-03T22:24:09.583 に答える