1

Pig スクリプトから Java で記述された UDF を呼び出しています。

UDF では、何らかの理由で入力が適切でない場合に返さnullれ、その特定の行/行がスキップされます。

現在の行/行をスキップできた理由はたくさんあります。現在、UDF で次のログ ステートメントを使用しています。

warn("XML is null, so skipping it", PigWarning.UDF_WARNING_1);
....
warn("Entity is null, so skipping it", PigWarning.UDF_WARNING_5);
.... and so on

Pig スクリプトが完了すると、以下のような統合情報が得られます

2013-01-21 07:03:42,163 [main] WARN  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Encountered Warning UDF_WARNING_5 5473 time(s).
2013-01-21 07:03:42,163 [main] WARN  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Encountered Warning UDF_WARNING_1 1466 time(s).

しかし、数字だけでなく、各行が失敗した理由を知りたいのです。豚でこれを行う方法はありますか?

4

1 に答える 1

0

Pigでロギングとフィルタリングを実行できるpennyというライブラリを見つけました。

于 2013-01-29T10:05:02.633 に答える