hadoop - ハイブとユーザー定義関数

Question

Hive 上の UDF について質問があります。Hive クエリで UDF を使用している場合、データは MapReduce 方式で処理されますか? たとえば、関数 avg を使用する場合。Hive は mapReduce Jobs の関数を変換しますか? ベスト

Answer 1

ほとんどの場合、Hive クエリは map/reduce ジョブに変換されます (例外は、HBase テーブルでの SELECT * などです)。Average (avg) は組み込みの集計関数であり、UDF ではありませんが、この Hive は map/reduce ジョブで両方を処理します。

Hive の将来のバージョンではおそらくこれが改善されることに注意してください (たとえば、Hive Stinger Initiative に関するこの投稿を参照してください)。