問題タブ [apache-tez]

Tez を介してハイブでクエリを実行中にエラーが発生しました。ログによると、開始時の場所tez jarsへのコピー中にハイブが失敗し ています。以下は、ハイブファイルから取得した完全なログです。hdfstez sessionlog

Hadoop で tez をセットアップしました。select COUNT(DISTINCT first_name) from user_test where country='India';ハイブを使用してクエリを実行しています。

(mr) を実行環境として使用するhive.execution.engine=mrと、ジョブが正常に実行され、Hadoop UI にログが表示されます。しかし、同じジョブを実行すると、tezエラーが発生し、ログを見つけることができません。

Launching Job 1 out of 1 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

エラーの詳細なログを見つけることができません。ログ ファイルが生成されている場所に関するヘルプはありません。

最近、Hadoop 1.0 から Hadoop 2.0 に移行しました。現在、Hive は Tez で実行されており、クエリでログを見つけることができません。

集約されたログにアクセスできます: yarn logs -applicationId application_xxx. しかし、クエリのテキストは含まれていません

クエリでログを見つけるのを手伝ってください。

一言で言えば、私がやったことは次のとおりです。

STEP1:ラップトップ (単一ノード) で Hadoop 2.6 を正常に構成し、サンプルの mapreduce ジョブを実行しました。

STEP2: tez リポジトリのクローンを作成し、バージョン 0.8.0 を正常にビルドして、jar ファイルを HDFS にコピーし、必要な変数をエクスポートしました。また、変数の値を mapred-site.xml に変更mapreduce.framework.nameしましyarn-tezた。

しかし、tez の Orderedwordcount ジョブを実行しようとすると、次のエラーが発生しました。

リソース マネージャーを確認したところ、ポート 8030 でリッスンしています。しかし、クライアントがランダムなポートに接続しようとしているようです。それが正しいか？

正しく動作させるにはどうすればよいですか?

hadoop-0.20.xx、hive-0.11.0 を使用しました。ハイブクエリについて話します。指定された構成では、すべてがうまく機能しています。現在、hadoop-2.6.x (hadoop2) および hive-0.14.x にアップグレードしています。Apache Tez も使用します。

問題は、hadoop がそのまま機能することです。しかし、ハイブ SQL クエリはそうではありません。以下のクエリは、古いバージョンでは正常に機能します。ただし、アップグレードされたバージョンではエラーが発生します: QUERY :SELECT abc.property_name, xyz.date, xyz.time, xyz.value_as_number, xyz.value_units FROM dbname.xyz JOIN dbname.abc ON (xyz.id = abc.src_id) WHERE xyz.person_id=138312;

例外：

例外は言う、No input path specified. さて、haodop-mapreduce プログラムで解決する方法を理解し、知っています。しかし、ハイブ クエリを使用してどのように行うのでしょうか。とにかく、これは同じではないと思います。

ハイブは予想hive shellさbeeline shellれる出力を返しましたが、ビーラインは上記と同じ例外を返しました。

問題の美しさは、個々のテーブルに対するクエリが正常に機能することです。しかし、で作業しようとするとJOIN、上記の例外がスローされます。しかし、クエリに影響があることは理解してApache Tezいます。誰かが解決策を提案したり、tez リファレンスを特定したりできるので、それに応じてクエリを読み書きし直すことができます。ありがとう

以下のコマンドを使用して、windows で hadoop-2.6.0 用の Apache Tez (0.6.1 と 0.7.0 の両方のバージョン) をビルドしようとしています。

しかし、私は例外を下回っています

これを解決するには？

tez を実行できる方法の 1 つは、hadoop との統合に加えて、ローカル モードで実行することです。ローカルで実行するために、このページを読み、必要な変更を理解し、tez-site.xml 構成を更新しました。しかし、私はそれを開始する方法がわかりません。

main メソッドを持つ tez-examples (wordCount など) の 1 つを実行してみました。しかし、それは停止し、stdout に何も出力しません。最初に始めなければならないことはありますか？

tez をローカル モードで実行するにはどうすればよいですか?