hive - パーティションとバケット ORC テーブル

Question

ORC テーブルを作成すると、劇的に速度が向上することを理解しています。しかし、ORC テーブルを分割してバケット化することで、さらに改善できるでしょうか? もしそうなら、既存のORCテーブルでパーティショニングとバケット化を行う方法は?

Answer 1

ORC テーブルをバケット化およびパーティション化できます。

パーティションは、HDFS のディレクトリに直接マップされます。ALTER TABLE を実行してパーティションを追加できます。その後、パーティションの回復を行う必要があります。すべてがここでよく説明されています: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-AlterPartition。

個人的には、動的パーティション分割を使用して新しいテーブルを作成し、データを新しいテーブルにコピーします。