3

私の Pig スクリプトは、Oozie ワークフローに入れるまでは単独で正常に動作しますが、次のエラーが表示されます。

ERROR 2043: Unexpected error during execution.

org.apache.pig.backend.executionengine.ExecException: ERROR 2043: Unexpected error during execution.
...
Caused by: java.io.IOException: No FileSystem for scheme: hbase

HBase および Zookeeper jar を正常に登録しましたが、同じエラーを受け取りました。

また、Pig スクリプトに次の行のバリエーションを追加して、Zookeeper Quorum を設定しようとしました。

SET hbase.zookeeper.quorum 'vm-myhost-001,vm-myhost-002,vm-myhost-003'

インターネットで検索した結果、これを自分の workflow.xml の先頭に追加するように指示されました。

SET mapreduce.fileoutputcommitter.marksuccessfuljobs false

これで問題は解決しました。HBase および Zookeeper jar と Zookeeper クォーラムの登録を削除することさえできました。

再確認した結果、ジョブが実際にジョブを実行していることに気付きました。結果は期待どおりに HBase に保存されます。しかし、Oozie は、実際には発生していないのに、失敗が発生したと主張しています。

mapreduce.fileoutputcommitter.marksuccessfuljobsをに設定することが解決策になるとは思いませんfalse。

他の解決策はありますか？

4

1 に答える 1

0

現在のところ、これに対する本当の解決策はないようです。

ただし、別の質問に対するこの回答は、成功フラグを「手動で」作成することが最善の回避策であることを示しているようです。

于 2016-06-03T13:32:04.413 に答える