問題タブ [oozie-coordinator]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
2 に答える
688 参照

hadoop - HadoopOozieのようなプロジェクト

Oozieは、Hadoopジョブを調整するためのワークフロー/調整エンジンです。Oozieワークフロージョブは、アクションの有向非巡回グラフ(DAG)です。

クラスタ上のジョブチェーンを管理するワークフローエンジンのような他のOozileは何ですか?

プラグインなどを介して任意のクラスターのジョブを調整できるワークフローエンジンのような一般的なOozileはありますか?

0 投票する
2 に答える
5414 参照

hadoop - Oozieワークフローとコーディネーターの使用-E0302:無効なパラメーターエラー

コーディネーターを使用してワークフローを実行しようとしていますが、ワークフローとコーディネーターのXMLファイルパスを一緒に設定しようとすると、エラーが発生します。これは私のjobs.propertiesファイルがどのように見えるかです:

コマンドラインでワークフローを実行すると、次のようになります。

次のエラーが発生します:

私は何が間違っているのですか?

ありがとう!

0 投票する
2 に答える
861 参照

hadoop - Oozieコーディネーターの問題

clouderaインストールの一部としてoozieインストールがあります。coordinator.xmlで次の構成を使用して、例からコーディネーターワークフローを実行しようとしています。

この構成では、ワークフローが1時間ごとに実行されることを期待していましたが、ワークフローは5分ごとに実行されているようですが、この問題に対する回答はありますか?

0 投票する
2 に答える
1485 参照

hadoop - Oozie 出力イベント

Ozzie の出力イベントの用途がわかりません。Ozzie のドキュメントには、「コーディネーター アクションは 1 つ以上のデータセット インスタンスを出力として生成できる」と記載されていますが、実用的な詳細や例は示されていません。出力としてデータセット インスタンスを生成するとはどういう意味ですか? Ozzie がデータセットの URI テンプレートによってフォルダーを出力として作成するということですか? 出力イベントを使用する必要がある理由がよくわかりません...

ありがとう!

0 投票する
1 に答える
1277 参照

oozie - Oozie Coordinator で終了時間を指定しない

私の oozie coordinator.xml では、終了時間を指定したくありません。それを行う方法はありますか。

コーディネーター.xml

0 投票する
1 に答える
1747 参照

hadoop - 古いデータセットで Oozie コーディネーターを開始する

昨日のデータセット入力が利用可能になった後にのみ、今日のインスタンスを実行するように Oozie コーディネーターをスケジュールする方法を教えてください。1 日前または 2 日前のデータセットなど、古いデータセットである必要がある 1 つの入力データセットのみをチェックする必要があります。今日のデータセットの入力を待つ必要はありません。

以下のようなものを使用してみました。ここでは、昨日のデータを確認できるようにインスタンスタグ内で ${coord:current(-1)} を使用しましたが、これは機能していないようです。昨日の日付でシグナルが利用できない場合でも、ジョブは通常の時間に起動されます。

0 投票する
1 に答える
1407 参照

hadoop - 毎週のウージーのスケジュール

Oozieを始めたばかりです。ここで誰かが有益なアドバイスを提供してくれることを願っています。

coordinator.xml のスニペットを次に示します。

私の質問に関連する部分はタグ内にあります。それらは通常、次のように表されます。"...revenue_feed/${YEAR}/${MONTH}/${DAY}/${HOUR}..."

この部分はWEEKで表現できますか?つまり、以下のテーブル担当者の最後の列です。

質問の理由は、日付テーブルに「iso_week」というフィールド列があるためです (たとえば、 28、または対応する日付範囲は 2013 年 7 月 8 日から 14 日です)。次のようになります。

これが十分に明確であることを願っています。そうでない場合は、他にどのように明確にすることができるか教えてください.