hadoop - ハングした Hadoop マップ削減ジョブをデバッグする方法

Question

MR ジョブを実行し、マップ フェーズの実行は成功しましたが、Reduce Phase は 33% で準拠し、ハング (約 1 時間ハング) ステータス: "reduce > sort" どのようにデバッグできますか?

Answer 1

あなたのケースとは関係ないかもしれませんが、IPTABLES (~firewall) が 1 つのノードで誤って構成されたときに、これが発生しました。そのノードにレデューサー ロールが割り当てられると、reduce フェーズが 33% で停止します。特に最近新しいノードを追加した場合や手動で構成した場合は、エラー ログをチェックして、接続が機能していることを確認してください。