複数の Hadoop クラスターにジョブを送信できる Oozie サーバーをインストールしようとしています。そのような展開には遭遇しませんでしたが、実行できない理由はわかりません。しかし、私はこれまでのところ成功していません。
これが私がやっていることです: Oozie を他の Hadoop コンポーネントと共にマシン (OZ-1) にインストールしました。私のラップトップには Oozie クライアント (OZ-Client-1) があります。ここで、Pig ジョブを Hadoop クラスター (HD-1) に送信したいと考えています。
- workflow.xml ファイルを作成し、OZ-1 の HDFS に配置しました
次のプロパティを定義する OZ-Client-1 で job.properties を作成しました。
nameNode=hdfs:HD-1:PORT
jobTracker=HD-1:PORT
queueName=default
examplesRoot=examples
oozie.use.system.libpath=true
oozie.wf.application.path=OZ-1/path/to/workflow.xml
実行したい Pig スクリプトを OZ-1 の HDFS にコピーします。
- 次に、クライアント OZ-Client-1 から Oozie ジョブを送信します。
- 入力データは、Hadoop クラスター: HD-1 に既に存在します。
私が従っている手順に何か問題がありますか? これは機能せず、Oozie クライアントで次のログを取得します。
Actions
------------------------------------------------------------------------------------------------------------------------------------
ID Status Ext ID Ext Status Err Code
------------------------------------------------------------------------------------------------------------------------------------
0000001-131020152954824-oozie-shar-W@:start: OK - OK -
------------------------------------------------------------------------------------------------------------------------------------
0000001-131020152954824-oozie-shar-W@pig-node START_RETRY- - JA009
------------------------------------------------------------------------------------------------------------------------------------