私は Hadoop、特に Hadoop Job Scheduling にかなり慣れていません。これが私がやろうとしていることです。
2 つのフローがあり、それぞれに Hadoop ジョブがあります。これらのフローを同じプロジェクトまたは別のプロジェクトに自由に配置できます。Hadoop ジョブがクラスターで同時に実行されることは望ましくありませんが、それらが交互に実行されることも確認したいと考えています。
たとえば、flow_1 (hadoop_job_1 を使用) の実行と終了 -> flow_2 (hadoop_job_2 の使用) の実行と終了 -> flow_1 (hadoop_job_1 の使用) の実行と終了などです。
そしてもちろん、特別な条件も優雅に扱いたいと思います。たとえば、flow_1 は完了しましたが、flow_2 の準備ができていない場合、flow_1 の準備ができていれば再度実行する機会が得られ、flow_1 が失敗した場合でも、flow_2 にはまだ順番があります。
これを行うことができる、調査できるスケジューラーを知りたいです。
MapRを使用しています。
ありがとう