本番クラスターでジョブをスケジュールする必要があります。過去 30 日間のクラスター負荷に基づいて、クラスターが空いていると予想される時間にジョブをスケジュールしようとしています。Oozie には、これをサポートする機能がありません。私は、oozie 内のいくつかのハックを使用してこれを達成しようとしています。
過去数日間でクラスターが通常空いていた時間を見つける標準的な方法はありますか? 毎日その時刻にジョブを自動的にサブミットします。
本番クラスターでジョブをスケジュールする必要があります。過去 30 日間のクラスター負荷に基づいて、クラスターが空いていると予想される時間にジョブをスケジュールしようとしています。Oozie には、これをサポートする機能がありません。私は、oozie 内のいくつかのハックを使用してこれを達成しようとしています。
過去数日間でクラスターが通常空いていた時間を見つける標準的な方法はありますか? 毎日その時刻にジョブを自動的にサブミットします。
Cloudera マネージャーを使用して、完全なクラスターの状態を確認できます (CDH を使用している場合)。
対話する Cloudera Manager API があります。それを見て、回避策を得ることができます。
http://blog.cloudera.com/blog/2012/09/automating-your-cluster-with-cloudera-manager-api/