Hadoop cdh4 で奇妙な動作が見られます。すべてのマッパーが完了する前に、リデューサーの一部が完了します。すべてのレデューサー (reduce() の呼び出し) は、マッパーが完了するまで待たなければならないと思いました。これは Hadoop のバグですか? 仕事がこの状態になる可能性のあるシナリオはありますか? ここで何が欠けていますか？
1 に答える
0
ジョブが失敗する傾向がある場合、Hadoop UI で奇妙な動作が見られることがあります。タスクが失敗したか、それ以上の可能性があるため、これが表示されていると思います。これは、UI に反映されていないものもあります。tasktracker と jobtacker の間のネットワーク通信または内部計算の遅延が原因である可能性があります (よくわかりません)。これは十分に文書化されていません。
申し訳ありませんが、これ以上お手伝いすることはできません。Hadoop WebUI のバグを探すことができます。見つけたらまた連絡します。
于 2013-07-19T10:26:33.170 に答える