hadoop - Hadoop でジョブをスケジュールする方法

Question

私は Hadoop を初めて使用します。いくつかのジョブを作成し、それらを jar ファイルとしてエクスポートしました。Hadoop jar コマンドを使用してそれらを実行できます。これらのジョブを 1 時間ごとに実行したいと考えています。どうすればいいですか？前もって感謝します。

Answer 1

Hadoop 自体には、あなたが提案しているようなジョブをスケジュールする方法がありません。したがって、主な選択肢は 2 つあります。Java の Time 機能とスケジューリング機能、またはオペレーティング システムからジョブを実行する方法です。 Cronをお勧めします。私は個人的にこれを行うために cron を使用します。これはシンプルで非常に柔軟で、ほとんどのサーバーにデフォルトでインストールされています。チュートリアルもたくさんあります。

毎時の最初の 1 分に実行する cron の例。

0 * * * *  /bin/hadoop jar myJar.jar

Java自体の内部に保持したい場合は、詳細とコードを含むこの質問をチェックすることをお勧めします。How to schedule task for start of every hour。

Answer 2

前述の Oozie に加えて、Falconも検討してください。

ただし、自分の経験からすると、Jenkinsなどの新しいシステムをスタックに追加することを避けるために、CI システムを使用する方がはるかに簡単な方法です。