問題タブ [hive-udf]

分散キャッシュに追加されたファイルから値をフェッチするために、Java で Hive UDF を作成しました。これは、次のような選択クエリから完全に機能します。

クエリ 1。

ただし、出力からテーブルを作成しようとすると機能しません。お気に入り ：

クエリ 2。

外側の選択からも機能していません。お気に入り ：

クエリ 3。

以下は私のUDFの評価関数です：

jar、file を追加し、Hive で Hive 一時関数を作成します。

クエリ 1 を実行すると Map から期待値が得られますが、クエリ 2 と 3 を実行すると「NA」が得られます。「NA」の代わりにクエリ 2 と 3 の Map.size() を返したとき、それはゼロでした。

外部の select または create テーブルが coutryMap() 値をフェッチできない理由と、Map のサイズがゼロになる理由に困惑しています。

Stringユーザーエージェント文字列をフォーマットで保存しました。

ユーザー エージェント文字列からブラウザを抽出したい。だから私はua-parser-Javaライブラリを使用しました。

Hive UDF コードは次のとおりです。

それは私に次の例外を与えます。

String代わりに試してみましTextたが、同じ例外が発生しました。ハイブがなければ、このコードは完全に機能します。更新: Hadoop またはハイブのログには、これに関する詳細はありません。

UDF を作成し、jar を abc.jar としてエクスポートしました。

/user/hive/warehouse の hdfs に jar をコピーしました。

今、私は以下のエラーを取得しています:

すると、 /user/ hive /warehouseパスに abc.jarhadoop fs -ls /user/hiveが表示されます。

私はどこで間違っていますか?これに対する解決策は何ですか?

たとえば、豚の udfs をデバッグする場合、これは機能します: http://ben-tech.blogspot.ie/2011/08/how-to-debug-pig-udfs-in-eclipse.html
失敗している udaf なので、udf コードをステップ実行したいと思います。

いくつかの UDF を作成するときに問題に直面しています。サイトで関連する投稿を検索しましたが、まだ有用なアイデアが得られていません。問題は、UDF で SQL ステートメントを実行し、クエリ結果を出力することです。これが私のコードです：

エラーメッセージは次のとおりです。

どんなアイデアでも大歓迎です！前もって感謝します！

Hive 用の GenericUDF を作成しようとしています。JAR を追加して、クラスを指す一時関数を作成しようとすると、エラーが発生するため、関数の作成が成功しません。String 型の引数を 1 つ受け取り、Map 型のオブジェクトを返す GenericUDF 関数の Java コード テンプレートを誰かが提供できますか。Object Inspector クラスに関しては非常に混乱しているため、誰かがこの関数の入力型と戻り値の型の非常に基本的なテンプレートを提供してくれると非常に役立ちます。

だから私のJavaコードはここにあります:-

JAR に対して Hive で関数を作成しようとすると、次のようになります。