問題タブ [apache-tez]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hive - Tez のハイブが java.lang.NoSuchMethodError をスローする
tez を展開し、tez で動作するようにハイブを構成しました。
レデューサー フェーズで単純なクエリが失敗します。
次のエラーがスローされます。
ステータス: 実行中 (アプリ ID application_1469020577348_0014 の YARN クラスターで実行中)
VERTICES STATUS TOTAL COMPLETED RUNNING PENDING FAILED KILLED
マップ 1 成功 0 0 0 0 0 0
レデューサー 2 が失敗しました 1 0 0 1 4 0
頂点: 01/02 [>>--------------------------] 0% 経過時間: 12.15 秒
Status: Failed Vertex failed, vertexName=Reducer 2, vertexId=vertex_1469020577348_0014_1_01, diagnostics=[Task failed, taskId=task_1469020577348_0014_1_01_000000, diagnostics=[TaskAttempt 0 failed, info=[Error: Error while running task ( failure ) : attempt_1469020577348_0014_1_01_000000_0:java.lang例外: java.util.concurrent.ExecutionException: java.lang.NoSuchMethodError: org.apache.hadoop.mapred.TaskID: メソッド (Ljava/lang/String;ILorg/apache/hadoop/mapreduce/TaskType;I)V が見つかりませんorg.apache.tez.runtime.LogicalIOProcessorRuntimeTask.initialize(LogicalIOProcessorRuntimeTask.java:267) で org.apache.tez.runtime.task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:69) で org.apache.tez.runtime. task.TaskRunner2Callable$1.run(TaskRunner2Callable.java:61) java.security.AccessController で。org.apache.tez.runtime. task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:61) org.apache.tez.runtime.task.TaskRunner2Callable.callInternal(TaskRunner2Callable.java:37) org.apache.tez.common.CallableWithNdc.call(CallableWithNdc.java: 36) java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) で java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor) で java.util.concurrent.FutureTask.run(FutureTask.java:262) .java:615) で java.lang.Thread.run(Thread.java:745) 原因: java.util.concurrent.ExecutionException: java.lang.NoSuchMethodError: org.apache.hadoop.mapred.TaskID:メソッド (Ljava/lang/String;ILorg/apache/hadoop/mapreduce/TaskType;I)V が見つかりません
mapreduce - Tez エンジンのハイブ
現在、実稼働環境では、mapreduce エンジンの代わりに tez でハイブを使用しています。そのため、結合のためのすべてのハイブ最適化が tez にも関連するかどうかを尋ねたいと思いました。たとえば、マルチテーブルテーブルでは、結合キーが同じ場合、単一のマップ削減ジョブが使用されると述べられていましたが、1 つのテーブルを結合していた環境で HQL をチェックしたとき、同じキーの多くのテーブルが外側に残っていました。レデューサー、実際には17のレデューサーが実行されていました.tezのハイブはmrのハイブとは異なるためですか？
Hive バージョン: 1.2 Hadoop:2.7 以下は、1 つのレデューサーのみを使用することについて言及しているドキュメントです https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins
mapreduce - Hive-Tez の Map-Reduce ログ
Hive-Tez でクエリを実行した後、Map-Reduce ログの解釈を取得したいですか? INFO: の後の行は何を伝えますか? ここにサンプルを添付しました
hive - Hive 実行エンジンとして、Tez は常に MR よりも優れていますか?
一般に、小規模なクエリ (数時間ではなく数分でインタラクティブな方法で結果が期待される) の場合、Tez のパフォーマンスが高く、バッチ クエリ (数時間かかる) の場合、実行エンジンとして MR のパフォーマンスが高いというのは本当ですか? それとも、クエリの種類に関係なく、Tez が常に最良の選択であると言えますか?
hadoop - Tez で Spark / Flink を実行するのはなぜですか?
Saha らのTez 論文では、Tez を使用した Hadoop 2 の次のモジュラー アーキテクチャが示されています。
誰かが Tez で Spark/Flink を実行するのはなぜですか?
利点は何ですか？YARNのより良い利用？
hadoop - Hive は Spark よりも高速ですか?
ハイブとは何かを読んだ後、それはデータベースですか? 、同僚は昨日、「グループ化」を行った後、15B テーブルをフィルタリングし、別のテーブルと結合して、わずか 10 分で 6B レコードを作成できたと述べました。これはSparkで遅くなるのだろうかと思います.DataFrameを使用すると、同等になる可能性がありますが、よくわからないので質問です。
Hive は Spark よりも高速ですか? それとも、この質問には意味がありませんか？申し訳ありませんが、私の無知のために。
彼は、Tez を使用しているように見える最新の Hive を使用しています。