0

map-reduceステップの前に私のジョブにいくつかの例外がありますが、ジョブは強制終了されません。例外後にジョブが強制終了されるようにHadoopを構成するにはどうすればよいですか？

今すぐメインクラスを呼び出す

ハートビートハートビート

メインクラスの呼び出しが完了しました

Oozieランチャーが終了します

stderrログ

org.springframework.jdbc.CannotGetJdbcConnectionException: Could not get JDBC Connection; nested exception is org.apache.commons.dbcp.SQLNestedException: Cannot create PoolableConnectionFactory (Io exception: Unknown host specified )
    at org.springframework.jdbc.datasource.DataSourceUtils.getConnection(DataSourceUtils.java:82)
    at org.springframework.jdbc.core.JdbcTemplate.execute(JdbcTemplate.java:577)
    at org.springframework.jdbc.core.JdbcTemplate.update(JdbcTemplate.java:792)
    at org.springframework.jdbc.core.JdbcTemplate.update(JdbcTemplate.java:815)
    at com.seven.crcs.export.dao.ReportDAOImpl.recreateReportEntity(ReportDAOImpl.java:151)
    at com.seven.crcs.export.dao.ReportDAOImpl.saveActiveUserCount(ReportDAOImpl.java:93)
    at com.seven.crcs.export.ReportJdbcExporter.saveActiveUserCount(ReportJdbcExporter.java:55)
    at com.seven.dataprocessor.oc.jobs.reports.export.day.ExportDailyUserReducer.exportUserCounts(ExportDailyUserReducer.java:32)
    at com.seven.dataprocessor.oc.jobs.reports.export.ExportActiveUser
org.springframework.jdbc.CannotGetJdbcConnectionException: Could not get JDBC Connection; nested exception is org.apache.commons.dbcp.SQLNestedException: Cannot create PoolableConnectionFactory (Io exception: Unknown host specified )

と

2013-02-28 06:06:46,487 INFO org.apache.hadoop.mapred.JobClient: Task Id : attempt_201302270945_0181_r_000000_0, Status : FAILED
2013-02-28 06:07:00,600 INFO org.apache.hadoop.mapred.JobClient: Task Id : attempt_201302270945_0181_r_000000_1, Status : FAILED
2013-02-28 06:07:16,650 INFO org.apache.hadoop.mapred.JobClient: Task Id : attempt_201302270945_0181_r_000000_2, Status : FAILED
2013-02-28 06:07:31,731 INFO org.apache.hadoop.mapred.JobClient: Job complete: job_201302270945_0181

しかし、仕事は成功しました

4

1 に答える 1

0

ジョブは実際には終了しましたが、タスク ID が示すように、マップ タスクの試行が 3 回失敗した後でのみです。

  • 試行_201302270945_0181_r_000000_0
  • 試行_201302270945_0181_r_000000_1
  • 試行_201302270945_0181_r_000000_2

パラメータ mapred.map.max.attemptsを に設定するか、 JobConf#setMaxMapAttempts(int)JobConf#setMaxMapAttempts1を使用して、各タスクの最大試行回数を制限できます。

これにより、最初の例外でマップ タスクが失敗し、ジョブが少し早く終了します。

于 2013-02-28T18:45:04.073 に答える