次のように、テーブル (innodb または ndb) から 300,000 行を ndb テーブルに移動するとします。
INSERT INTO ndbtable2
SELECT a, b,IFNULL(c,UTC_TIMESTAMP()),CASE WHEN b = 'X' THEN e ELSE d END,f
FROM ndbtable1;
Query OK, 308372 rows affected (5 min 12.59 sec)
Records: 308372 Duplicates: 0 Warnings: 0
ndb は、完了するまで、ますます膨大な量のデータ メモリを使用します。ビフォー/ピーク/アフターは以下の通り
ndb_mgm -e "all report memoryusage"
Connected to Management Server at: fl-prd-mysql1:1186
Node 1: Data usage is 2%(5752 32K pages of total 262144)
Node 1: Index usage is 0%(2428 8K pages of total 262176)
Node 2: Data usage is 2%(5752 32K pages of total 262144)
Node 2: Index usage is 0%(2428 8K pages of total 262176)
Connected to Management Server at: fl-prd-mysql1:1186
Node 1: Data usage is 62%(164013 32K pages of total 262144)
Node 1: Index usage is 1%(3136 8K pages of total 262176)
Node 2: Data usage is 62%(164013 32K pages of total 262144)
Node 2: Index usage is 1%(3136 8K pages of total 262176)
Connected to Management Server at: fl-prd-mysql1:1186
Node 1: Data usage is 3%(10293 32K pages of total 262144)
Node 1: Index usage is 1%(4590 8K pages of total 262176)
Node 2: Data usage is 3%(10293 32K pages of total 262144)
Node 2: Index usage is 1%(4590 8K pages of total 262176)
私の計算が正しければ、10293 - 5752 = 4541 = 142 MBを挿入しますが、メモリは 164013 - 5752 = 158261 = 4945 MB急増します
また、挿入を 50,000 行に制限し、前後の差が 3MB だけの場合、スパイクは 780MB でした。
明らかに、これは ndb が空でない場合に問題になります...ここで何が起こっているのですか?!