問題タブ [oozie-coordinator]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - HadoopOozieのようなプロジェクト
Oozieは、Hadoopジョブを調整するためのワークフロー/調整エンジンです。Oozieワークフロージョブは、アクションの有向非巡回グラフ(DAG)です。
クラスタ上のジョブチェーンを管理するワークフローエンジンのような他のOozileは何ですか?
プラグインなどを介して任意のクラスターのジョブを調整できるワークフローエンジンのような一般的なOozileはありますか?
hadoop - Oozieワークフローとコーディネーターの使用-E0302:無効なパラメーターエラー
コーディネーターを使用してワークフローを実行しようとしていますが、ワークフローとコーディネーターのXMLファイルパスを一緒に設定しようとすると、エラーが発生します。これは私のjobs.propertiesファイルがどのように見えるかです:
コマンドラインでワークフローを実行すると、次のようになります。
次のエラーが発生します:
私は何が間違っているのですか?
ありがとう!
hadoop - Oozieコーディネーターの問題
clouderaインストールの一部としてoozieインストールがあります。coordinator.xmlで次の構成を使用して、例からコーディネーターワークフローを実行しようとしています。
この構成では、ワークフローが1時間ごとに実行されることを期待していましたが、ワークフローは5分ごとに実行されているようですが、この問題に対する回答はありますか?
hadoop - Oozie 出力イベント
Ozzie の出力イベントの用途がわかりません。Ozzie のドキュメントには、「コーディネーター アクションは 1 つ以上のデータセット インスタンスを出力として生成できる」と記載されていますが、実用的な詳細や例は示されていません。出力としてデータセット インスタンスを生成するとはどういう意味ですか? Ozzie がデータセットの URI テンプレートによってフォルダーを出力として作成するということですか? 出力イベントを使用する必要がある理由がよくわかりません...
ありがとう!
oozie - Oozie Coordinator で終了時間を指定しない
私の oozie coordinator.xml では、終了時間を指定したくありません。それを行う方法はありますか。
コーディネーター.xml
hadoop - 古いデータセットで Oozie コーディネーターを開始する
昨日のデータセット入力が利用可能になった後にのみ、今日のインスタンスを実行するように Oozie コーディネーターをスケジュールする方法を教えてください。1 日前または 2 日前のデータセットなど、古いデータセットである必要がある 1 つの入力データセットのみをチェックする必要があります。今日のデータセットの入力を待つ必要はありません。
以下のようなものを使用してみました。ここでは、昨日のデータを確認できるようにインスタンスタグ内で ${coord:current(-1)} を使用しましたが、これは機能していないようです。昨日の日付でシグナルが利用できない場合でも、ジョブは通常の時間に起動されます。
hadoop - 毎週のウージーのスケジュール
Oozieを始めたばかりです。ここで誰かが有益なアドバイスを提供してくれることを願っています。
coordinator.xml のスニペットを次に示します。
私の質問に関連する部分はタグ内にあります。それらは通常、次のように表されます。"...revenue_feed/${YEAR}/${MONTH}/${DAY}/${HOUR}..."
この部分はWEEKで表現できますか?つまり、以下のテーブル担当者の最後の列です。
質問の理由は、日付テーブルに「iso_week」というフィールド列があるためです (たとえば、 28、または対応する日付範囲は 2013 年 7 月 8 日から 14 日です)。次のようになります。
これが十分に明確であることを願っています。そうでない場合は、他にどのように明確にすることができるか教えてください.