0

DistributedCache ファイルが必要な一連の Hadoop ジョブが多数あります。

ドライバー クラス (コントローラー) は、前のジョブからの入力を受け取り、ファイルを変更し、それを DistributedCache に配置して、新しいジョブを開始します。

最初のジョブの後 (つまり、2 番目のジョブ)、次のエラーが発生します。

java.io.IOException: 
The distributed cache object hdfs://xxxx/xx/x/modelfile2#modelfile2 
changed during the job from 11/8/12 11:55 PM to 11/8/12 11:55 PM

誰が問題が何であるか知っていますか?

4

1 に答える 1

0

TrackerDistributedCacheManager.java メソッド downloadCacheObject のソースによると、この例外が発生すると無視されず、HDFS からローカル ファイル システムへのファイルの実際のダウンロードは行われません。そのため、タスクは分散キャッシュでそのファイルを見つけられません。同じオブジェクトを 2 回登録している可能性があります。または、複数のジョブが同じコントローラーから分散キャッシュに同じメールを含むファイルを配置するときに、hadoop に何らかのバグがある可能性があります。

于 2012-11-10T07:05:11.910 に答える