hadoop - Hadoopの分散キャッシュにキャッシュされたファイルを更新する

Question

キャッシュされ、DistributedCacheを介してマップリデュースジョブに配布されるファイルの小さなセットがあります。キャッシュされたファイルは、将来定期的に更新する必要があります。マップリデュースジョブを再開せずに、キャッシュされたファイルを更新できるかどうか疑問に思っています。

キャッシュされたファイルの変更タイムスタンプを追跡するDistributedCacheについて読みました。マップリデュースジョブで使用されていないときにファイルを更新するのに役立ちますか？

Answer 1

キャッシュされたファイルは、ジョブの送信時にHDFSにコピーされ、その後、M / Rタスクを生成する前に、さまざまなタスクトラッカーによってローカルノードにローカルにコピーされます。そのため、ジョブの実行中は分散キャッシュ内のファイルを変更できません。