問題タブ [oozie]

Oozie と sqoop のワークフローを設定しようとしています (mySql データを hdfs にバックアップしたい)。しかし、仕事を始めようとすると立ち往生します。

私は、oozie の最後のバージョンである hadoop2 (動作中の hdfs ノード) を使用しています。私のコンピューターに oozie サーバーをインストールしました (展開する前にテストしたい)。 haddop-conf dir)、およびサーバー上の私の hdfs。

次のような基本的なワークフローを作成しました（テスト目的、sqoopが機能しているかどうかを確認したいだけです）：

このワークフローを hdfs に入れました。仕事を始めるためのJavaコードを作成しました：

Oozie の Web インターフェイスで、ジョブが実行されているのを確認できます

そして、yarn webinterface を確認すると、自分のジョブを確認できますが、ステータスが FAILED になっています

何が悪いのか本当にわかりません。私はあなたのアドバイスを必要とします。

ありがとう〜

私はoozieでちょっと新しいです。サーバーに（cdhリポジトリを使用して）oozieをインストールしました（CDH4のドキュメントに従いました[私のhadoopはcdh4で実行されています]）。

次の情報で core-site.xml を更新しました。

しかし、私が仕事を始めるとき：

私は得る：

しかし、oozie Web コンソールを見ると、自分のジョブが表示されますが、ジョブのステータスは「START_RETRY」で、次のエラーが表示されます

ログがありません.....何が悪いのか本当にわかりません..

なぜ仕事を始められないのか理解できませんか？これで私を助けてもらえますか？

これは私を完全に困惑させました。Amazon EC2 Ubuntu インスタンスで Cloudera Manager を使用して、MySQL で Oozie を起動しています。jdbc と MySQL に関する他のすべての質問を読んでみました。この 2 日間、この設定を行うために多くのことを試しましたが、それでも失敗します。毎日。時間。

私は mysql-connector-java-5.1.25-bin.jar を、oozie と Java 用のほぼすべての /lib/ フォルダーに追加しようとしました。以下の場所にあります。

ただし、Cloudera Manager を使用して oozie で新しいデータベースを作成しようとすると、次のような問題が発生します。

これは私の /etc/environment です:

ここからどこへ行くべきかについてのヒント/ポインタはありますか?

sqoop ジョブを oozie アクションとして実行しようとしています。jobtracker ノードのメタストアとして MySQL を使用しています。oozie sqoop がインポートからハイブ テーブルを作成できないことをどこかで読みました。だから私はhdfsにデータをダンプしようとしています。それはまだ本当ですか？

共有ライブラリを確認しました。

MS SQL データベースから Sqoop しようとしています。

シェルからメタストアを必要としない sqoop コマンドを実行すると、動作します。

これを sqoop アクションとして実行しようとすると、このエラーが発生します

ワークフロー.xml

これが主な理由だと思います。共有 lib ディレクトリにライブラリがあります 2285 [main] エラー org.apache.sqoop.tool.BaseSqoopTool - データベース マネージャーの作成中にエラーが発生しました: java.io.IOException: 接続文字列のマネージャーがありません:

何か不足していますか？どんな助けでも大歓迎です。

ありがとう、アビシェーク

毎月第 1 月曜日に実行する Oozie コーディネーター ジョブをスケジュールするために使用できるものを教えてください。

${coord:months(1)} として設定できる頻度パラメーターがあることは知っています。しかし、これでは、月の特定の週の特定の日にジョブをスケジュールすることはできません。ここで質問を複雑にしないことを願っています。

どんな助けでも大歓迎です。

ありがとう、サイード

昨日のデータセット入力が利用可能になった後にのみ、今日のインスタンスを実行するように Oozie コーディネーターをスケジュールする方法を教えてください。1 日前または 2 日前のデータセットなど、古いデータセットである必要がある 1 つの入力データセットのみをチェックする必要があります。今日のデータセットの入力を待つ必要はありません。

以下のようなものを使用してみました。ここでは、昨日のデータを確認できるようにインスタンスタグ内で ${coord:current(-1)} を使用しましたが、これは機能していないようです。昨日の日付でシグナルが利用できない場合でも、ジョブは通常の時間に起動されます。

Oozie ワークフローでは、ワークフローのプロパティでクラスターの JobTracker を指定する必要があります。JobTracker が 1 つしかない場合、これは簡単です。

jobTracker=ホスト名:ポート

クラスターが HA (高可用性) JobTracker 用に構成されている場合、JobTracker がフェイルオーバーしたときにすべてのプロパティ ファイルを更新することなく、いずれかの JobTracker ホストにヒットできるようにプロパティ ファイルをセットアップできる必要があります。 2番目のノード。

http を介して 1 つの JobTracker にアクセスすると、実行されていない場合は別のジョブ トラッカーにリダイレクトされますが、oozie は http を使用しないため、リダイレクトはありません。実行されていません。

HA で実行されている JobTracker を処理するようにプロパティ ファイルを構成するにはどうすればよいですか?

Oozie は、RUNNING、KILLED、PREP などを含む、送信されたすべてのジョブを Web UI に一覧表示します
。metastore DB を直接編集せずに、Oozie の Web UI からジョブを削除する方法はありますか?