hive - .NET の HDInsight Hive UDF

Question

Hadoop 用の Microsoft .NET SDK があることを確認しました。Map/Reduce プログラムを HDInsight 用の .NET で記述できるようになりました。
HDInsight 用にも Hive UDF を作成する方法はありますか?

Answer 1

Python UDF と同じストリーミング方法を使用して、.NET プログラムを UDF として実行できます。

たとえば、STDIN に対して何かを実行し、結果を STDOUT に書き込む .NET プログラムがある場合、次のように Hive UDF を使用して実行できます。

SELECT TRANSFORM (<columns>)
USING '<PROGRAM.EXE>'
AS (<columns>)
FROM <table>;

.NET ピースの内外でコンマ区切りデータを使用することにより、UDF で複数の列を使用することもできることに注意してください。

パフォーマンスに関する限り、これは非常に遅いことがわかる場合があるため、使いすぎには注意し、監視してください。

また、クエリを実行する前に、program.exe のファイルをハイブ ジョブに追加することを忘れないでください。

add FILE 'wasb://...PROGRAM.EXE';

Answer 2

カスタム Hive UDF を HDInsight に追加する方法を参照してください。