どのような条件下で、MR よりも Hive エンジン TEZ を使用するのが望ましいですか?
それぞれの長所と短所は何ですか？
質問する
1040 次
1 に答える
0
TEZ は、MR と同じように高速に動作します。クエリが複雑になるほど、TEZ のメリットが大きくなります。したがって、TEZ が機能する場合は、常に TEZ が推奨されます。
Tez は、単一ジョブのタスクの複雑な DAG (有向非循環グラフ) を実行する機能を提供することで、MapReduce パラダイムをより強力なフレームワークに一般化します。map-reduce プリミティブを使用してプランを実装すると、必然的に多くのジョブ境界が発生します。これにより、耐久性のあるストレージとジョブの起動に対する読み取り/書き込みのオーバーヘッドが発生し、ワーカー ノードの再利用やウォーム キャッシュなどの簡単な最適化の機会が失われる可能性があります。 .
もちろん、お使いの TEZ バージョンにはまだ解決されていないバグがいくつかあります。これは、TEZ で特定のソリューションを実装する際に直面する唯一の問題です。
MR はより成熟していますが、Hive-on-MR は Hive 2 で廃止され、将来のバージョンでは利用できなくなる可能性があります。
これも読んでください：
この：
于 2016-07-02T17:19:20.487 に答える