1

次の問題は、この構成で発生します。

  • MySQL 5.7.10
  • 春 4.0.5
  • 春のバッチ 3.0.1
  • 10 ～ 20 スレッドの Spring ThreadPoolTask​​Executor

問題は、一部のスレッドが 1 つのテーブルで UPDATE...WHERE を実行しようとすると、デッドロックが発生することです。

表は次のとおりです。

CREATE TABLE IF NOT EXISTS `invoice_events` (
  `INTERNAL_ID` bigint(20) NOT NULL,
  `FECHA_FAC` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `PERIOD_TYPE` varchar(50) COLLATE utf8_spanish_ci DEFAULT NULL,
  `PRODUCT_ID` varchar(50) COLLATE utf8_spanish_ci DEFAULT NULL,
  `RATE_ID` varchar(50) COLLATE utf8_spanish_ci DEFAULT NULL,
  `INVOICE_INTERNAL_ID` bigint(20) unsigned DEFAULT NULL,
  `COUNTRY_CODE` varchar(4) COLLATE utf8_spanish_ci DEFAULT NULL,
  `SOURCE_MSISDN` varchar(50) COLLATE utf8_spanish_ci DEFAULT NULL,
  `TARGET_MSISDN` varchar(100) CHARACTER SET utf8 DEFAULT NULL,
  `CATEGORY` varchar(50) COLLATE utf8_spanish_ci DEFAULT NULL,
  `SERVICE` varchar(50) COLLATE utf8_spanish_ci DEFAULT NULL,
  `USAGE_TYPE` varchar(50) CHARACTER SET utf8 DEFAULT NULL,
  `BT_COST` double(22,6) DEFAULT NULL,
  PRIMARY KEY (`INTERNAL_ID`,`FECHA_FAC`),
  KEY `IDX_INV_INT_ID` (`INVOICE_INTERNAL_ID`),
  KEY `IDX_MSISDN` (`SOURCE_MSISDN`),
  KEY `IDX_FECHA_FAC` (`FECHA_FAC`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_spanish_ci
PARTITION BY RANGE( TO_DAYS(FECHA_FAC) ) (
    PARTITION p201511 VALUES LESS THAN (TO_DAYS('2015-12-01')),
    PARTITION p201512 VALUES LESS THAN (TO_DAYS('2016-01-01')),
    PARTITION p201601 VALUES LESS THAN (TO_DAYS('2016-02-01')),
    PARTITION p201602 VALUES LESS THAN (TO_DAYS('2016-03-01')),
    PARTITION p201603 VALUES LESS THAN (TO_DAYS('2016-04-01')),
    PARTITION p201604 VALUES LESS THAN (TO_DAYS('2016-05-01')),
    PARTITION p201605 VALUES LESS THAN (TO_DAYS('2016-06-01')),
    PARTITION p201606 VALUES LESS THAN (TO_DAYS('2016-07-01')),
    PARTITION p201607 VALUES LESS THAN (TO_DAYS('2016-08-01')),
    PARTITION p201608 VALUES LESS THAN (TO_DAYS('2016-09-01')),
    PARTITION p201609 VALUES LESS THAN (TO_DAYS('2016-10-01')),
    PARTITION p201610 VALUES LESS THAN (TO_DAYS('2016-11-01')),
    PARTITION p201611 VALUES LESS THAN (TO_DAYS('2016-12-01')),
    PARTITION future VALUES LESS THAN MAXVALUE
  );

UPDATE ステートメントは次のとおりです。

update invoice_events  
set invoice_internal_id = 978202
where fecha_fac between '2016-02-01 00:00:00' and '2016-05-31 23:59:59.999' 
and source_msisdn = '239642983472' 
and invoice_internal_id is null  
and country_code = 'ES';

このステートメントの MySQL の EXPLAIN は次のとおりです。 ここに画像の説明を入力

問題の SHOW STATUS ENGINE は次のとおりです。

2016-06-03 11:08:23 0x7f8bcc1aa700
*** (1) TRANSACTION:
TRANSACTION 7031093, ACTIVE 0 sec fetching rows
mysql tables in use 1, locked 1
LOCK WAIT 406 lock struct(s), heap size 41168, 2884 row lock(s), undo log entries 375
MySQL thread id 4726, OS thread handle 140238271616768, query id 10226209 172.30.6.9 BDUSER updating
update invoice_events  set invoice_internal_id = 978173 where fecha_fac between '2016-02-01 00:00:00' and '2016-05-31 23:59:59.999' and source_msisdn in ( '239642983345' )  and invoice_internal_id is null  and country_code = 'ES'
*** (1) WAITING FOR THIS LOCK TO BE GRANTED:
RECORD LOCKS space id 12252 page no 54015 n bits 512 index IDX_MSISDN of table `my_schema`.`invoice_events` /* Partition `p201603` */ trx id 7031093 lock_mode X waiting
Record lock, heap no 101 PHYSICAL RECORD: n_fields 3; compact format; info bits 0
 0: len 16; hex 33303835303732313033323532303132; asc 3085072103252012;;
 1: len 8; hex 80000000005d2fa3; asc      ]/ ;;
 2: len 5; hex 9998fe0000; asc      ;;

*** (2) TRANSACTION:
TRANSACTION 7031094, ACTIVE 0 sec starting index read, thread declared inside InnoDB 4999
mysql tables in use 1, locked 1
424 lock struct(s), heap size 41168, 3945 row lock(s), undo log entries 628
MySQL thread id 4731, OS thread handle 140238401480448, query id 10226408 172.30.6.9 BDUSER updating
update invoice_events  set invoice_internal_id = 978202 where fecha_fac between '2016-02-01 00:00:00' and '2016-05-31 23:59:59.999' and source_msisdn in ( '239642983472' )  and invoice_internal_id is null  and country_code = 'ES'
*** (2) HOLDS THE LOCK(S):
RECORD LOCKS space id 12252 page no 54015 n bits 512 index IDX_MSISDN of table `my_schema`.`invoice_events` /* Partition `p201603` */ trx id 7031094 lock_mode X
Record lock, heap no 1 PHYSICAL RECORD: n_fields 1; compact format; info bits 0
 0: len 8; hex 73757072656d756d; asc supremum;;

innodb データベース変数から、innodb_thread_concurrencyの値が 32 であることがわかりました。

選択したパーティションには 21853907 行が含まれています。

簡単な UPDATE ステートメントを作成しようとしました。必要なパーティションにアクセスするためだけに fecha_fac でフィルタリングしてから、インデックス付きフィールドでフィルタリングします。

ですから、私の最初の主な質問は次のとおりです。このトランザクション ロックを修正するにはどうすればよいですか? 何かアドバイス、ヒント、...？

その他の重要な質問は次のとおりです。

  • EXPLAIN 出力から: 1 回のテーブル更新でも、タイプ (範囲) を改善できますか? それとも、単一テーブルの更新に最適なタイプですか?
  • EXPLAIN 出力から: 最終キーが IDX_MSISDN ではなく IDX_INV_INT_ID だったのは正しいですか? IDX_INV_INT_ID は、NULL 列にインデックスを付けます。
  • innodb_thread_concurrency パラメータが 0 (無限の同時実行数) に設定されていることは役に立ちますか?
  • SHOW STATUS の出力にデータがありますか?

私の質問に加えて、助けやアドバイスをいただければ幸いです。

前もって感謝します。

4

1 に答える 1

0

@Shadow が示唆したように、インデックスを確認しましたが、IDX_MSISDN のみが残ります。

DB 設計とデッドロックを回避するためのその他の推奨事項は次のとおりです。

  • 列を並べ替えます。NULL および/またはインデックスのない列の可能性がある列は最後に移動されました。
  • PROCEDURE ANALYSE() を使用して列のデータ型とサイズを調整します。たとえば、SOURCE_MSISDN が削減されたため、key_len も削減されました。
  • 同期トランザクション。Spring Batch アイテムごとに 1 つのトランザクションのみが実行されます。私の設計では、スループットが約 5 ～ 10% 低下しましたが、対処可能です。

それが役に立てば幸い。

于 2016-11-15T06:48:06.260 に答える