0

HFileOutputFormat を使用して一括読み込みを行う私の MR ジョブでは、87 個のマップ タスクが生成され、約 20 分ですべてのタスクが 100% に達しました。それでも、個々のタスクのステータスは、hadoop 管理ページで「実行中」のままであり、完了状態に移行するものはありません。レデューサーは常に保留状態であり、開始されません。待ったばかりですが、30 分のタイムアウト後にエラーが発生しました。

私の仕事は約150以上の列をロードする必要があります。少ない列数で同じ MR ジョブを実行してみましたが、簡単に完了します。100% に達した後でも、マップ タスクが完了状態に移行しない理由はありますか?

4

1 に答える 1

0

考えられる原因の 1 つは、発行される出力データが膨大になることです。それをソートしてディスクに書き戻すのは、時間がかかる作業です。通常、これは当てはまりません。ログをチェックして、map-reduce コードを改善する方法を探すことも賢明です。

于 2013-05-31T12:45:13.780 に答える