hadoop - ジョブが完了したときに distributedCache の内容を変更するにはどうすればよいですか?

Question

ジョブが完了したときに distributedCache として関連付けられているファイルの内容を変更し、その後の別の map/reduce ジョブで新しい distributedCache として使用する方法はありますか?

Answer 1

詳細については、 TrackerDistributedCacheManager.javaコードを確認してください。Hadoop は、DistributedCache 内のファイルを使用しているタスクの数に関する参照カウントを保持します。カウントが 0 になった場合、ファイルは削除対象としてマークされます。そのため、ジョブの最後に DistributedCache 内のファイルが消去されます。そうしないと、ジョブ間でノードに蓄積され続けます。

そのため、分散キャッシュ内のファイルを変更して、連続ジョブで使用することはできません。