hadoop - BMC Control-M を使用して Hadoop ジョブをスケジュールする方法は?

Question

BMC Control-M ソフトウェアを使用して Hadoop ジョブを制御/スケジュールする方法を知っている人はいますか? それは可能ですか？

私は Ooozie を試しましたが、hadoop ジョブをスケジュールするためのオプションをさらに調べたいと思っています。

啓発してください！

Answer 1

答えはイエスです。

そして、この答えはさらに良くなるでしょう。

現在、さまざまな Hadoop コンポーネントで利用できる豊富なコマンド ライン インターフェイスを使用できます。次に、これらの CLI をコマンドとして個別に実行するか、それらを組み合わせて Control-M ジョブに直接埋め込んだスクリプトにするか、シェル スクリプト (Bash が一般的) にラップして Control-M でスケジュールすることができます。HDFS 操作を実行してから MapReduce ジョブを実行するサンプル スクリプトを提供しました。

より良い部分は、Hadoop の統合サポートをリリースする数か月後に実現します。その時点で (BMC Control-M に精通していることを前提としています)、さまざまなジョブ タイプ (Pig、Hive、MapReduce がすべて検討されていますが、どのようなものかはわかりません) を定義するために、他の CM と同様のグラフィカル フォームを提供します。実際に実装されます）、ステータス監視、ジョブ出力の取得などの統合サポート。

Control-M を使用して Hadoop 環境を管理している多くのお客様から、すでにご連絡をいただいています。

Hadoop ジョブを実行する「メカニズム」に加えて、グラフィカルなフローを管理するための Control-M の機能、幅広いプラットフォームやアプリケーションとの統合、サービス レベルの管理機能、予測、監査、レポート作成なども利用できます。

これについてさらに詳しくお話しさせていただきたいと思います。特に、私たちはまだこの作業の初期段階にあるため、この分野でのお客様の要件を知りたいと思っています. 電話会議またはデモを喜んでセットアップさせていただきます。

#!/bin/csh
#
cd /h/gron/java/hadoop/hadoop-1.0.3
bin/hadoop dfs -rmr  output_$UUID 'dfs[a-z.]+'
bin/hadoop  jar  hadoop-examples-1.0.3.jar  grep input output_$UUID 'dfs[a-z.]+'