問題タブ [tez]

ハイブで頻繁にエラーメッセージが表示されるcontainer running beyond physical memory limits. Current usage: 4.7 GB of 4GB physical memory used; 12.1 GB of 8.4 GB virtual memory used. Killing container

jdbc接続を使用してscalaでこれを実行します。

デフォルトの実行エンジンは tez です。ハイブ実行エンジンを mr に変更すると、正常に動作します。

Hive cli で同じクエリを実行すると、tez で正常に動作します。

さまざまなフォーラムで述べたように、コンテナーのサイズを変更しようとしましたが、役に立ちません。

上記の設定では、コンテナのサイズが効果的に増加しないようです。

また、クラスター全体を占有しています。

私の質問は：

1. ハイブ クエリで生成されるコンテナの数を制限して、大きなクエリのためにクラスタが停止しないようにする方法はありますか?
2. コンテナーのサイズを大きくするにはどうすればよいですか?

3. コンテナのサイズを大きくする以外に方法はありますか?

   hive version: 1.2.1

   hdp: 2.3.2

ハイブとtezと豚とtezの違いを知りたいです。tez を使用したハイブでは、使用されているマップとリデューサーの数がコンソールに表示されるのに、ブタでは起動されたタスクの数しか表示されないのはなぜですか。どうして

tez を使用して pig で起動されたレデューサーを計算する方法........

MR を使用してハイブで起動されたレデューサーを計算する方法。

デフォルトの構成に基づいて、MRを使用してハイブで起動されるリデューサーの数はデータサイズに基づいていると思います

MRを使用してHiveで個別の操作を行ったとき、3つのマッパーと7つのリデューサーを使用し、データサイズはわずか426 MBでした. そして、ジョブは単一のジョブとして実行されました。

Hive with MR、Hive with Tez、PIg with Tez/ でのレデューサーの計算方法

Hive 2.1 で NULL マップをチェックするための回避策を見つけようとしています。マップ内のキーをチェックすると、正しい結果が得られます。ここに私が評価しようとしているものと結果があります：

ただし、Hive の古いバージョン (Hive 1.1 など) では同じ問題は発生しません。

AWS EMR 5.2 で実行している最初のクエリと、ローカルの CDH5.4 クラスターで実行している 2 番目のクエリを追加できます。

誰かが私に洞察を与えることができますか？

2 つのテーブル と がtbl_aありtbl_b、どちらも ORC としてフォーマットされ、列 で分割されていますdt。一方のテーブルはパーティション形式を使用し%Y%m%d%H%M、もう一方のテーブルは を使用しています%Y%m%d。

Hive 1.2.1.2.4 (TEZ 0.7.0.2.4 を使用) での単純な SELECT + WHERE ステートメントの実行計画を見ると、 の述語フィルター セットのみが表示されtbl_a、他の は表示されませんtbl_b。これは、tbl_b目的のパーティションに対するスキャンだけでなく、完全なテーブル スキャンが実行されることを意味します。照会された両方のパーティションが存在し、データが含まれています。

この動作は私にはあまり明確ではありません。where 条件を述語フィルターとして使用するかどうかを決定する基準はどれですか?

LLAP と呼ばれるハイブの新機能があります。調査中に、LLAP を構成するのは非常に難しいことがわかったので、それを構成する Apache Slider というコンポーネントがあります。それでも、Slider を使用せずに手動で構成するためのドキュメントは見つかりませんでした。https://cwiki.apache.org/confluence/display/Hive/LLAP