Hive UDF でグローバル変数を使用する方法があれば、誰か教えてもらえますか?
以下の問題の解決策を見つけようとしています。シナリオは以下のようになります.3種類のファイルがあります
- 4 列のファイル (列名が A、B、C、および D であると仮定します)
- 2 列 (B、D) のファイル
- 2 列 (B、C) のファイル
3 つのファイルすべてを標準形式 (ファイル 1 形式 - 4 列の出力) に変換します。標準形式に変換するには、ファイルの最初の行にあるヘッダー レコードを参照する必要があります。私の入力ファイルが 256MB で、複数のマッパーが呼び出された場合、各マッパーがグローバル変数 (ヘッダー情報) を参照できるようにする方法はありますか。
要するに、私の Hive UDF を呼び出すすべてのマッパーに共通の変数を持つ方法はありますか?
注: UDF は、行全体を読み取ってから次のテーブルの HDFS の場所に書き込むことにより、単一の列テーブルで実行されます。