0

ibatis行ハンドラーを使用して非常に大きなデータセット（innodbテーブルに100万行）をロードするJavaWebアプリがあります。このプロセスは、クォーツスケジューラによって夜間のcronジョブとして実行されます。ただし、6分間処理した後、次のスタックトレースで停止します。

WARN [DefaultQuartzScheduler_Worker-8] MethodInvokingJobDetailFactoryBean$MethodInvokingJob.executeInternal(168) | Could not invoke method 'doBatch' on target object [org.myCron@4adb34]
org.springframework.jdbc.UncategorizedSQLException: SqlMapClient operation: encountered SQLException [  
--- The error occurred in org/myCron/mySqlMap.xml.  
--- The error occurred while applying a result map.  
--- Check the mySqlMap.outputMapping.  
--- The error happened while setting a property on the result object.  
--- Cause: com.mysql.jdbc.CommunicationsException: Communications link failure due to underlying exception: 

** BEGIN NESTED EXCEPTION ** 

java.io.EOFException

STACKTRACE:

java.io.EOFException
        at com.mysql.jdbc.MysqlIO.readFully(MysqlIO.java:1903)
        at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:2402)
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:2860)
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:771)
        at com.mysql.jdbc.MysqlIO.nextRow(MysqlIO.java:1289)
        at com.mysql.jdbc.RowDataDynamic.nextRecord(RowDataDynamic.java:362)
        at com.mysql.jdbc.RowDataDynamic.next(RowDataDynamic.java:352)
        at com.mysql.jdbc.ResultSet.next(ResultSet.java:6106)
        at org.apache.commons.dbcp.DelegatingResultSet.next(DelegatingResultSet.java:168)
        at sun.reflect.GeneratedMethodAccessor71.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:592)
        at com.ibatis.common.jdbc.logging.ResultSetLogProxy.invoke(ResultSetLogProxy.java:47)
        at $Proxy10.next(Unknown Source)
        at com.ibatis.sqlmap.engine.execution.SqlExecutor.handleResults(SqlExecutor.java:380)
        at com.ibatis.sqlmap.engine.execution.SqlExecutor.handleMultipleResults(SqlExecutor.java:301)
        at com.ibatis.sqlmap.engine.execution.SqlExecutor.executeQuery(SqlExecutor.java:190)
        at com.ibatis.sqlmap.engine.mapping.statement.GeneralStatement.sqlExecuteQuery(GeneralStatement.java:205)
        at com.ibatis.sqlmap.engine.mapping.statement.GeneralStatement.executeQueryWithCallback(GeneralStatement.java:173)
        at com.ibatis.sqlmap.engine.mapping.statement.GeneralStatement.executeQueryWithRowHandler(GeneralStatement.java:133)
        at com.ibatis.sqlmap.engine.impl.SqlMapExecutorDelegate.queryWithRowHandler(SqlMapExecutorDelegate.java:649)
        at com.ibatis.sqlmap.engine.impl.SqlMapSessionImpl.queryWithRowHandler(SqlMapSessionImpl.java:156)
        at com.ibatis.sqlmap.engine.impl.SqlMapClientImpl.queryWithRowHandler(SqlMapClientImpl.java:133)
        at org.springframework.orm.ibatis.SqlMapClientTemplate$5.doInSqlMapClient(SqlMapClientTemplate.java:267)
        at org.springframework.orm.ibatis.SqlMapClientTemplate.execute(SqlMapClientTemplate.java:165)
        at org.springframework.orm.ibatis.SqlMapClientTemplate.queryWithRowHandler(SqlMapClientTemplate.java:265)
        at org.myCron.doBatch(MyCron.java:57)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:592)
        at org.springframework.util.MethodInvoker.invoke(MethodInvoker.java:248)
        at org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean$MethodInvokingJob.executeInternal(MethodInvokingJobDetailFactoryBean.java:165)
        at org.springframework.scheduling.quartz.QuartzJobBean.execute(QuartzJobBean.java:66)
        at org.quartz.core.JobRunShell.run(JobRunShell.java:191)
        at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:516)


** END NESTED EXCEPTION **

スタックトレースは非常にあいまいです。私が見る唯一のヒントは、「結果オブジェクトにプロパティを設定しているときにエラーが発生した」ということです。結果オブジェクトには、文字列と整数の2つのプロパティしかありません。どちらもnull値を許可しますが、私のselectステートメントは、どちらにもnull値がないことを示しています。それらは両方とも適切なゲッター/セッターを持っています（プロセスが死ぬ前にしばらくの間正常に実行されるので、これは理にかなっています）。cronが実行されるたびに、ランダムなポイントで停止します（したがって、特定の行にスタックすることはありません）。

注-メソッド'doBatch'は、cronプロセスを開始するメソッドであるため存在します。doBatchが見つからなかった場合、最初の1000行を正常に処理できませんでした。

また、クォーツの外でジョブを実行しようとしましたが、そこでも失敗します。MySQLのnet_read_timeout、net_write_timeout、delayed_insert_timeoutを増やしてみましたが、これらの設定はどれも問題の解決にはなりませんでした。また、log4j設定をDEBUGに設定しようとしましたが、役立つ情報が得られませんでした。

私が試すことができることについて他に何かアイデアはありますか？

4

1 に答える 1

0

MySQLが何らかの理由で接続を閉じたようです。MySQLログをチェックして、何かが表示されるかどうかを確認します。必要に応じて、MySQLのさまざまなログオプションをオンにします。

また、アプリからデバッグデータ（タイムスタンプを含む）の印刷を開始します-すべてを印刷してから、最後のアクションが何であったかを確認します-おそらく、コードにバグのあるまれにトリガーされる条件がいくつかあります。

つまり、MySQLと話すたびに、前後にログに記録します。

于 2012-08-14T21:10:25.887 に答える