2

私の現在のプロジェクトでは、スナップ圧縮形式の Orc ファイルを使用しています。どのクエリを実行しても、1 つのマッパーのみで実行されます。mapred.max.split.size と mapred.min.split.size を構成しようとしましたが、マッパーの数に変化は見られません。リデューサーの数は十分ですが、マッパーは単一のマッパーであるため、.

x による z グループから x,max(y) を選択します。mapper を完了するのに約 20 分かかります。マッパーの数を増やすために他にすべきことはありますか?

パーティションまたはバケットを使用するように言わないでください。テーブルで既に使用しているためです。

4

1 に答える 1

0

tblproperties orc.stripe.size で遊んでみてください。

ストライプ サイズのデフォルト値は 256 MB で、技術的にはストライプごとに 1 つのマッパーがあります。シングル ストライプのサイズを小さくすると、マッパーの数を増やすことができます。

于 2016-04-05T12:11:52.500 に答える