0

さまざまなパラメーターを使用してジョブを定期的に複数回実行するために使用される Hadoop ジョブのファット jar があります。各ジョブの起動時間は非常に長いようです。私の推測では、ファット ジャーは毎回タスク トラッカーに転送されます。ジョブ jar を各クラスパスに手動で追加したくありません。ジョブ jar 全体を一度 dist キャッシュに転送し、それを複数回実行することは可能ですか?

4

1 に答える 1

0

あなたdistributed cacheが言及したのは、あなたJARをすべてのタスクトラッカーにコピーすることに他なりません。

fat-jar があまり頻繁に変更されない場合にできることは、jar を Hadoop の lib フォルダーに入れることです。これらは、すべてのジョブ実行に含まれます。

于 2012-11-17T17:30:13.597 に答える