exception - GC タイムアウト例外の超過を回避するために Hive クエリを最適化する

Question

非常に単純なHiveでクエリを実行していますが、GCタイムアウトとOOMエラーを継続的に超えています。

クエリは次の形式です

select a.field1 -- 約 30 列を選択! from table1 t1 join table2 t2 on t1.field2 = t2.field2 and t1.date = '20120801' 結合 table2 t3 on t1.field7 = t2.field2 and t1.date = '20120801'

このクエリから約 30 のフィールドを選択しています。table1 は日付で分割されており、約 300,000 のレコードが含まれています。table2 には約 100 のレコードが含まれています。

このクエリを最適化する方法はありますか?

Answer 1

何時間も Mapjoin をいじって、ついに動作するようになりました

ヒント SELECT / + MAPJOIN(t2,t3) /を追加

クエリは数秒で実行されるようになりました