Hadoop/PIGは初めてです。基本的な質問があります。
PIG UDFにロギング機能はありますか?フローをチェックするために特定のステートメントをログに記録する必要があることを確認する必要があるUDFを作成しました。利用可能なロギング機能はありますか?はいの場合、豚のログはどこにありますか?
Hadoop/PIGは初めてです。基本的な質問があります。
PIG UDFにロギング機能はありますか?フローをチェックするために特定のステートメントをログに記録する必要があることを確認する必要があるUDFを作成しました。利用可能なロギング機能はありますか?はいの場合、豚のログはどこにありますか?
UDFが拡張すると仮定すると、EvalFunc
から返されたロガーを使用できますEvalFunc.getLogger()
。ログ出力は、pigが実行する関連するMap / Reduceタスクに表示されます(ジョブが複数のステージで実行される場合は、関連するログエントリを見つけるためにそれらを選択する必要があります)。
おそらく明らかですが、クラスター/疑似クラスターにデプロイする前に、ローカルモードでUDFをデバッグすることをお勧めします。このようにして、ログデバッグよりも簡単なIDE内(私の場合はEclipse)でデバッグできます。