hive - Cdh から hdp ハイブ

Question

Cloudera でハイブ UDF を作成しましたが、これを hortonworks に移行しています。hortonworks クラスターで同じ udf を適用しようとすると、以下のエラーがスローされます。

Answer 1

正しいバージョンで正しい依存関係を使用してください。バージョンに関して管理者チームと一緒に座って、実行してみてください。制限は常にいくつかのレコードをスキャンし、データセット全体ではなくそのデータに操作を適用するため、UDF を制限付きで適用するとうまくいきました。limit を使用すれば、使用するどのバージョンでも、CDH バージョンでも機能します。しかし、データセット全体に適用すると問題が発生します。私のサンプル データは約 500 万レコードなので、map reduce ジョブを実行する必要があります。