問題タブ [oozie-coordinator]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - 1 人のコーディネーターだけでいくつかの Oozie ワークフローを開始することは可能ですか?
私は自分が望むものに良いツールを使用するかどうか確信が持てません。
依存するワークフローもそうでないワークフローもたくさんあります。
例:
- /ワークフロー1
- /workflow.xml
- /job.properties
- /ワークフロー2
- /workflow.xml
- /job.properties
- ....
すべてのワークフローを起動できるコーディネーターを (いくつかのデータ条件で) 持つことができると考えました。しかし、それは良い習慣ではないと思い始めています。
すべての実行条件を備えたワークフローごとに 1 つのコーディネーターと、すべてのコーディネーターを起動する 1 つのバンドルを用意する必要がありますか? そのように:
- /wf1
- /workflow.xml
- /job.properties
- /coordinator.xml
- /wf2
- /workflow.xml
- /job.properties
- /coordinator.xml
- /bundle.xml
または、1 人のコーディネーターがすべてのワークフローを開始できますか (依存していてもいなくてもかまいません)?
- /wf1
- /workflow.xml
- /job.properties
- /wf2
- /workflow.xml
- /job.properties
- /coordinator.xml
hadoop - エラー: E0505 : E0505: アプリ定義
以下のコマンドを実行するとエラーが発生します。
エラー: E0505 : E0505: アプリ定義 [hdfs://localhost:8020/tmp/oozie-app/coordinator/] が存在しません
助言がありますか。
filter - 「等しくない」条件を使用した oozie フィルター ジョブ
私は Oozie コーディネーターとそれらを追跡するための Web コンソールを使用しています。自分の仕事を見つけるために、私は通常フィルターを使用します
ユーザー=XXX;ステータス=実行中
これはコマンドライン「-filter」にも有効であることを知っています(こちらを参照)
ただし、状態 status(not equal)killed を使用したい場合もあります
これは可能ですか?対応する構文は何ですか?
oozie - Oozie 完了フラグ EL 関数
oozie-coordinator xml のタグで oozie が提供する組み込み関数または EL 関数を使用しようとしていますが、サポートされていないようです。これを宣言する他の方法を知っている人はいますか?
完了フラグには日付が含まれています。
Oozie コーディネーター ワークフローを起動すると、次のエラーが表示されます。
動的な完了フラグ名を実現する方法を知っている人はいますか?
oozie - 特定の頻度でコーディネーターアクションの具体化を強制する方法は?
以前にインスタンス化されたワークフローがまだ完了していない場合でも、コーディネーターに定期的にワークフローを具体化またはインスタンス化させることが可能かどうか/どのように強制するかを知りたいです。
説明させてください。次のような単純なコーディネーターがあります。
頻度は 3 時間に設定されています。3 時間ごとに、コーディネーターが新しいワークフロー インスタンス/ジョブを「具体化」することを期待しています。
ここに私の問題があります: ワークフローの実行が 3 時間以上続く場合、コーディネーターは新しいワークフロー インスタンスを具体化せず、現在実行中のワークフローが最初に終了するのを待ちます。次に、次のワークフローをインスタンス化します。コーディネーターが起動したワークフローは、その頻度を超えて継続している場合、キューに入っています。
コーディネーターに3時間ごとに新しい仕事を開始させるにはどうすればよいですか? ありがとうございました
hadoop - 開始位置がずれている Oozie の動作
Oozie コーディネーターを現在の時刻よりも多くの "反復" (頻度に関して) 前の開始時刻で開始すると、コーディネーターは、割り当てられた頻度を無視して、ワークフローを数回連続して実行することに気付きました。ただし、私にとっては、ワークフロー/アクションが特定の時点で正しい回数実行されることよりも、ワークフロー/アクションが割り当てられた頻度で実行されることが重要です。
この動作を回避する方法はありますか? 1 つの方法は明らかに、反復時間内に開始時間が正しいことを確認することです (自動的に開始時間を取得する方法はありますか?)。もう 1 つは、この動作を完全に回避するように構成し、基本的に、開始時刻と頻度を指定する必要がある次の時刻に実行することです。