java - PigServer がジョブ jar をローカル ファイルシステムに残す

Question

Java アプリケーションで Pig を使用しています。現在、15 分ごとに豚のクエリを実行するスレッドがあります。実行するたびに、一時フォルダー (私の場合は /tmp) に MR ジョブ Jar が残ります。

コードが構造化されている方法は、起動時に PigServer の 1 つのインスタンスが作成されることです。次にループで、異なるパーティションでクエリを再登録し、openIterator 呼び出しを介してクエリを実行します。スレッドがシャットダウンされるまで、PigServer はシャットダウンされません。

だから私の質問は、jar をクリーンアップするために実行する必要がある呼び出しはありますか? または、実行ごとに PigServer をシャットダウンする必要がありますか? または、クエリが完了した後に自分で FS をクリーンアップする必要がありますか?

Answer 1

tmp スペースの pig* ディレクトリをクリーンアップするために使用するたびに、PigServer オブジェクトを作成して破棄する必要があるようです。ただし、これは Job jar をクリーンアップするようには見えません。そのため、これを処理するために独自のクリーンアップ機能を設定する必要がありました。