問題タブ [oozie-coordinator]

Hadoop ジョブのスケジューリングに Oozie コーディネーターを使用しています。開始時刻を 12:26 と指定しましたが、ジョブ プロパティ ファイルで指定した頻度に従って、8 ～ 9 時間後に開始され、残りのすべてのジョブが完了します。

なぜこの 8 時間の停止は、まだ job.properties で指定された startTime を使用して残りのジョブを完了しているのですか?

コーディネーター.xml

タイムゾーンの問題はありますか?

ファイルベースの依存関係を持つコーディネーターを作成しようとしています。私の目標は、指定されたファイルが作成された場合にのみ、コーディネーターがワークフローを実行することです。ファイルが作成されなかった場合、コーディネーターはファイルが作成されるまで待機する必要があります。私は次のコードで試しました：

Oozie ジョブを開始しましたが、WAITING 状態です。HDFS の指定されたディレクトリ構造 (hdfs://localhost:9000/tmp/revenue_feed/${YEAR}/${MONTH}/${DAY}/) にファイル (trigger.dat) を作成するスクリプトを実行しました。 ${HOUR})。ファイルが作成されましたが、まだ待機中の状態です。

誰でもこれで私を助けることができます..

oozie の job.properties でコーディネーター ジョブの開始時刻を変更すると、ジョブは変更された時刻ではなく、古いスケジュール時刻で実行されます。

古いジョブのプロパティ:

新しい job.properties:

ジョブは変更された時間に実行されていません: 07 分、毎時 08 分に実行されています。

解決策を教えてください。ジョブを再起動したり強制終了したりせずに、更新されたプロパティ (タイミングの変更) をジョブにピックアップさせる方法を教えてください。

次のワークフロー XML と Coordinator XML があり、どちらも Hue Oozie エディターで作成されています。

コーディネーターの設定は以下です

コーディネーターを実行しました。DATE パラメータに渡される値が空白です。問題はありますか？

つまり、ワークフローがトリガーされた時間に基づいて、HDFS にフォルダーを作成しようとしています。

私も試しました

これを行うと、エラーが発生します。

データの可用性に基づいてワークフローをスケジュールしたいのですが、特定の頻度でデータが到着するわけではありません。また、データの再実行が複数回行われる可能性があるため、その日のデータの複数のバージョンがいつでも到着する可能性があります。

仕様からわかるように、現在、コーディネーターで周波数パラメーターを指定することが必須です。

ただし、頻度に依存せずに、何らかのイベント (データの到着またはパーティションの作成) のみに基づいてワークフローをトリガーしたいと考えています。

これは非同期データセットの資格があるようです。Oozie はまだ非同期データ セットをサポートしていますか?

Oozie のドキュメントに従って、カスタム Oozie ActionExecutor を作成できます。

これを行うには、ActionExecutor を拡張するクラスを作成する必要があります。クラスは Jar としてパッケージ化する必要があります。この jar は、oozie サーバーの lib ディレクトリの下に配置する必要があります。この部分は明らかです。

ただし、アクションを定義する XSD ファイルはどこに配置すればよいですか? Oozie サーバーの場所を検索しましたが、手がかりが見つかりませんでした。何か助けはありますか？

daterange の oozie ジョブを四半期として実行したいと考えています。start-instance が四半期の開始日になるように設定するにはどうすればよいですか