マッパーのタスク ログに、次のような動作が見られ、混乱しています。
INFO org.apache.hadoop.mapred.Merger: Merging 6 sorted segments
INFO org.apache.hadoop.io.compress.CodecPool: Got brand-new decompressor
INFO org.apache.hadoop.io.compress.CodecPool: Got brand-new decompressor
INFO org.apache.hadoop.mapred.Merger: Down to the last merge-pass, with 6 segments left of total size: 38872249 bytes
INFO org.apache.hadoop.mapred.Merger: Merging 6 sorted segments
INFO org.apache.hadoop.mapred.Merger: Down to the last merge-pass, with 6 segments left of total size: 38636106 bytes
INFO org.apache.hadoop.mapred.Merger: Merging 6 sorted segments
INFO org.apache.hadoop.mapred.Merger: Down to the last merge-pass, with 6 segments left of total size: 39490573 bytes
INFO org.apache.hadoop.mapred.Merger: Merging 6 sorted segments
....
repeat 20+ times
....
INFO org.apache.hadoop.mapred.Merger: Down to the last merge-pass, with 6 segments left of total size: 37234005 bytes
INFO org.apache.hadoop.mapred.Task: Task:attempt_201209251414_0326_m_000052_0 is done. And is in the process of commiting
INFO org.apache.hadoop.mapred.Task: Task 'attempt_201209251414_0326_m_000052_0' done.\
「最後の」マージ パスが 25 回以上あるのはどうしてですか? このプロセスには永遠に時間がかかるため、何かを正しく構成していないかどうかを確認しようとしています。