問題タブ [udf]

この関数の適切な出力を取得しています。datediff は同じ月の日数の差のみを計算しますか? 「2015 年 1 月 1 日」の形式で日付を渡すと、常に 0 が返されます =/ ロジックまたは構文に何かミスがありましたか?

Pig は初めてです 入力データは

(メッセージ,NIL,2015-07-01,22:58:53.66,E,machine.com.name,12,0xd6,String,String ,0,0.0,key=value&key=123456789&key=value&key=US&key=COMPANY&key=MESSAGE&key =123456789&key=文字列&key=文字列&Key=文字列&Key=文字列)

入力データの最後の文字列を解析するために、Java UDF を以下のように記述しました。

上記のJava UDFを使用してPigスクリプトを実行すると、以下のエラーが発生します

私のスクリプトは、Java UDF 関数がなくても正常に実行され、出力ファイルも提供されます。この問題は、Pig スクリプトに Java UDF を含めると発生します。Java UDF と Pig を実行しているマシンとの間に Java バージョンの不一致はありません。

豚のスクリプト:

次のようにユーザー定義関数を定義しています。サブルーチンで呼び出そうとすると、「ゼロ」値が返されますが、これは間違いです。

ただし、サブルーチンを使用して上記の関数を定義し、同じ入力値を提供する同じコードを複製しようとすると、結果は次のように完全に問題ありません。

データ型を確認しましたが、不一致はないようです。また、関数 ThermoRel(x, y, P, T) は正常に機能し、バリアント データ型を持ちます。私は多くの時間を費やし、考えられるあらゆる方法を試しましたが、まだ理解できません。あなたの意見をお待ちしております!!!

簡単にデバッグできるように、次のように同じエラー (出力ゼロ) を含む仮想例を作成しました。

助けてくれてありがとう！ローカルウィンドウで、関数が呼び出された後、dx 配列がすべてゼロになることがわかりました。これは (hx, 0, 0) である必要があります。何らかの理由で、dx 配列がすべてゼロに強制されます。理由はわかりません...

タイムスタンプの配列を持つ列と、タイムスタンプが 1 つだけの列を持つデータセットがあります。大小の条件として c1 タイムスタンプを使用して、配列のサイズを取得しようとしています。

テーブル (my_table):

クエリ:

そこにある udf は、私の仮説の実装です。

出力：

UDF のファイル (sample.txt) にアクセスしようとしています。そのファイルを分散キャッシュに入れて、そこから使用したいと考えています。Pig ジョブを実行するために amazon EMR を使用しています。クラスターの作成中に EMR ブートストラップ アクションを使用してファイル (sample.txt) を HDFS にコピーしています。

bootstrap.sh (ファイルを s3 から hdfs にコピー)

UsingSample.java (sample.txt を使用する UDF)

}

create_cluster.sh (クラスターを作成し、Pig スクリプトを実行するスクリプト)

getCacheFiles() で sample.txt にアクセスしようとすると、FileNotFound 例外が発生します。

私は使っている：

Hadoop 2.4 Pig 0.12

助けてください。

私がコーディングしたハイブ UDTF は、指定された出力列の数が 2 であるため、正常に動作します。しかし、すぐに 3 に変更して再デプロイすると、次のエラー メッセージが表示されます。

失敗: SemanticException [エラー 10083]: AS 句で指定されたエイリアスの数が、UDTF によって出力される列の数と一致しません

何か理由はありますか？

これが、初期化メソッドで使用しているコード ブロックです。

プロセスメソッドのフォワードステートメントは次のとおりです

どんな助けでも感謝します。

こんにちは、A と BI の 2 つのロード ステートメントがあり、特定の列の値を A から B に渡したいと考えています。次のコードを試しました。

地域列が空です。タイトル列から地域列に値を渡したいです。上記のコードはnullのみを出力します。助けていただければ幸いです。