hadoop - Hadoop ジョブ スケジューリング クエリ

Question

私はHadoopの初心者です。

私の理解によると、Hadoop フレームワークはジョブを FIFO 順 (デフォルトのスケジューリング) で実行します。

特定の時間にジョブを実行するようにフレームワークに指示する方法はありますか?

つまり、そのように毎日午後 3 時にジョブを実行するように設定する方法はありますか?

これに関するご意見は大歓迎です。

ありがとう、R

Answer 1

Quartzなどの外部Javaスケジュールフレームワークからジョブを呼び出すのはどうですか？その後、必要に応じてジョブを実行できます。

Answer 2

Oozie ( http://yahoo.github.com/oozie/ ) の使用を検討してください。それは（他のものに加えて）可能にします：

実行頻度: Oozie ワークフロー仕様は、データ トリガーと時間トリガーの両方をサポートします。ユーザーは実行頻度を指定でき、データの到着を待ってワークフロー内のアクションをトリガーできます。

他の Hadoop スケジューラーとは独立しており、それらのいずれとも連携する必要があるため、Hadoop 構成の変更はおそらくありません。

Answer 3

Cronがそれをカットしない場合、および/またはカスタムワークフローソリューションを使用する場合は、商用のスケジューリングアプリを使用します. jams と呼ばれるソリューションを使用していますが、これは .net 指向であることを忘れないでください。

Answer 4

Hadoop ジョブを実行するスクリプトを作成し、at コマンドを使用して指定した時間に実行するのはどうでしょうか。ジョブを定期的に実行する場合は、スクリプトを実行する cron ジョブをセットアップできます。