HFileOutputFormat を使用して HBase テーブルをロードする一括ロード ジョブがあります。私のマッパーは2〜3分以内に完了し、レデューサー(HFileOutputFomatによって呼び出されるPutSortReducer)は次の2分で92%まで完了しますが、残りの8%を完了するのに約9分かかります
私の仕事では合計 10 個の削減タスクが生成されます。そのうち常に 8 または 9 個のタスクが 2 ~ 3 分以内に完了し、残りの 1 ~ 2 個のタスクはその後 9 分かかります。そして、これらの最後の 1 つまたは 2 つのタスクは、通常、失敗したタスクの代わりに再開されるものです。ログには、失敗したタスクの理由として明らかなエラーは表示されません