問題タブ [oozie-coordinator]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - クラスターから別のマシンへの HDFS ファイル FTP
HDFS ファイルを HDFS クラスターから別のサーバーに転送するための Oozie ワークフローを作成したいと考えています。
Oozie はシステム内の任意のノードでコマンドまたはスクリプトを実行できるため、いずれかのノードでシェル スクリプトまたは SFTP を実行し、ファイルを宛先サーバーに転送することは可能ですか。
oozie - Oozie workflow id generation
Is is possible to know the workflow id of the next oozie job that gets generated? When oozie is restarted, its hard to know the next oozie workflow id. Any way to get it guys?
Thanks,
Vishnu Ganth
apache-spark - Oozie は Spark ジョブをサポートしていません
Apache Oozie は現在、Spark ジョブをサポートしていないようですが、そうですか? スパークジョブをoozieに統合する方法はありますか?
hadoop - Oozie を使用したハイブの繰り返しコーディネーター
Oozie を使用してハイブのコーディネーターを実行しているときに問題に直面しています。これは、私のjobs.propertiesファイルがどのように見えるかです:
そしてこれはcoordinator.xml
しかし、ジョブを実行しているときに次のエラーが発生します。
ワークフローは正常に実行されています。コーディネーターを追加しようとしたときに問題が発生しました。
hadoop - Oozie ジョブが実行中状態のままになっている
mapreduce ジョブをシェル アクションとして実行する単純なジョブ ワークフローがあります。ジョブを送信した後、そのステータスは Running になり、そこにとどまりますが、終了することはありません。mapreduce クラスターは、2 つのジョブが実行されていることを示しています。1 つはシェル アプリケーション ランチャーに属し、もう 1 つは実際の mapreduce ジョブに属しています。ただし、mapreduce ジョブのものは UNASSIGNED と表示され、進行状況はゼロです (つまり、まだ開始されていないことを意味します)。
興味深いことに、oozie ジョブを強制終了すると、mapreduce ジョブが実際に実行を開始し、正常に完了します。シェルランチャーがブロックしているようです。
ps 単純なワークフローであり、開始日や終了日で待機する可能性はありません。
hadoop - Oozie コーディネーター ジョブを送信する方法
coordinator.xml ファイルで定義されている Oozie コーディネーター ジョブがあり、workflow.xml ファイルで定義されているワークフロー ジョブを実行します。コーディネーター ジョブを実行したいのですが、コマンド「oozie job -oozie http://.../oozie/ -config ./job.properties -run」を発行すると、コーディネーターではなくワークフローが実行されます。ワークフローではなくコーディネーターを実行するように指示するにはどうすればよいですか?