問題タブ [oozie]

昨日、私はoozieワークフローを開始しました。それは一日中行き詰まった2つの仕事を始めました。私は今朝、テストしたい変更を加えて、彼らを殺しました。2つのジョブを強制終了した後、ワークフローが停止し、現在進行中のようです。ワークフローを強制終了したいので、強制終了したワークフローを置き換えるために新しいジョブを開始し続けることはありません。oozieコマンドラインでそれを行うにはどうすればよいですか？

oozie経由でHBaseに接続しようとすると、次の例外が発生します。

私のworkflow.xmlは次のようになります。

hadoop jarコマンドを使用してjarファイルを実行できますが、 oozieは使用できません。必要なすべての構成をJavaで設定しました。しかし、それでも例外が発生します。

HMasterとHRegionServerが実行されています。知っている人は、私を助けてください...

そのmapreduceコードを実行するときにカウンターを使用しているmapreduceクラスを作成しましたが、このエラーが発生します

なぜこのエラーが発生するのか誰かが提案できますか？

私の oozie コーディネーター アプリケーションに問題があります。
ケース 1 :
For -
start = "2012-09-07 13:00Z" end ="2012-09-07 16:00Z" frequency ="coord:hour(1)"
アクション数 : 1 (期待されるのは 3)
公称時間 -
1) 2012-09-07 13:00Z (さらに 2 回が予想されます。2012-09-07 14:00Z、2012-09-07 15:00Z)
ケース 2:
For -
start = "2012-09-07 13 :00Z" end ="2012-09-07 16:00Z" frequency = "coord:minutes(10)"
アクション数 : 6 (予想は 18)
公称時間 :
1) 2012-09-07 13:00Z
2) 2012-09-07 13:10Z
3) 2012-09-07 13:20Z
4) 2012-09-07 13:
5) 2012-09-07 13:40Z
6) 2012-09-07 13:50Z (さらに 12 が予想されます。2012-09-07 14:00Z、2012-09-07 14:10Z など..)。

観測に基づく一般化: coord:minutes(1)からcoord:minutes(59)
までの 任意の頻度、公称時間は完全に計算されますが、1 時間までしかありません。 ここで何か不足している場合は提案してください。oozie 2.0 を使用して、次の場合に正常に動作する基本的なコーディネーター アプリを試してみました: start = "2012-09-07 13:00Z" end = "2012-09-07 13: 30Z " )"

次のハイブコマンドを参照してください：

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

絶対ファイル パスのカンマ区切りのリストを指定できますか?
LOAD DATA INPATH 'hdfs://foo/bar1,hdfs://foo/bar2' INTO TABLE foo1

私が探している実際のユースケース:

使用中

co-ordinator.xml で、入力として 24 の hdfs ロケーションの限定セットがあると仮定します。そして、私のハイブクエリがこれらすべての場所からテーブルにデータをロードするようなものである場合、次のように使用したいと思います。

しかし、それはハイブでは正しく機能しません。仮定: input_files は、hdfs://foo/bar/1,hdfs://foo/bar/2,hdfs://foo/bar/3これがハイブ内の有効な場所ではないことを解決します。

これを達成するために私が理解している唯一の方法は、実行するinput_files動的ハイブスクリプトを入力および出力として受け取るJavaマッパーを実行することです

別々に。

最後に、私が持っている質問は、関心のあるデータセット全体を解決できる場合、これをハイブに活用して、個人またはステートメントを個別${coord:dataIn('coordInput1')}に回避できないかということです。LOAD DATA..ALTER TABLE ADD PARTITIONS..

Oozie で Hbase Map-Reduce ジョブをスケジュールしたいのですが、次の問題に直面しています。

また

please let me know the best way to schedule a Hbase Map-Reduce Job by Oozie .

ありがとう ：） ：）

LinuxボックスにClouderaの疑似分散バージョンをインストールし、いくつかの簡単なMapReduceの例を実行して成功しました。しかし、私はOozieを機能させようとしており、単純なジョブワークフローを実行しようとしたときに受け取るエラーに完全に困惑しています。

ドキュメントに従って、事前にパッケージ化された例をHDFSにコピーし、実行します。

ファイルが存在するかどうかを確認します。

します。phocion：8020に接続できますか？

私は出来ます。したがって、基本的に、このエラーが私に何を伝えようとしているのかについて、私は完全に途方に暮れています-フォルダは非常に存在します。エラーが曖昧すぎて問題が何であるかを完全に伝えることはできないと思いますが、正しい方向を示すことができるものはほとんど見つかりませんでした。

このエラーは、他のサードパーティのチュートリアルでも再現できます。

構成ファイルを注いで、コンピューターを二度と見たくないほどの時間を費やしました。たぶん私はここで問題を考えすぎているかもしれませんが、どんな助けでも大歓迎です。

編集：完全なjob.propertiesを追加します（デフォルトとあまり変わらない）：

その他の編集：フォルダが存在しない場合、およびhdfsに戻した後、まったく同じエラーが発生します。パーミッションの問題であるという最後の考えであるchmod777でも同じエラーが発生します。コマンドラインで渡された完全なHDFSパスでは、問題は修正されません。oozieおよびrootアカウントでさえも機能しません：

このコマンドは理論的には機能するはずですか？

これは、oozieコマンドを実行した後にhadoop-hdfsログに表示されます。

次の問題の解決策が必要です。私のプロジェクトには2つのjarファイルがあります。

1つのjarにはEmployeeなどのすべてのBeanクラスが含まれ、もう1つのjarには最初のjar Beanクラスを使用するMRジョブが含まれているため、iamがMRジョブを単純なJavaプログラムとして実行しようとすると、クラスが見つからないという問題に直面します（com。 abc.Employeeクラスが別のjarにあるため見つかりません）したがって、問題を解決する方法を誰かに教えてもらえますか....リアルタイムでは、1つまたは2つではない多くのjarが存在する可能性があるため、これらすべてのjarを指定する方法どなたでもお早めにご返信ください。

私はJavaを初めて使用し、Javaコードを使用してoozieジョブを実行するのに問題があります。コードの問題を理解できません。いくつかの助けは本当にありがたいです。これが私のコードです

コマンドラインを使用してジョブを起動することはできますが

javacode を使用して Oozie ジョブを起動しようとしていますが、同じことができません。次のコードは、次のような数行で「unhandled type oozieClientException」という例外を発生させます

私はJavaが初めてで、助けを求めています。ここに私のコードがあります: