My-SQLデータベースに2つのメインテーブルがあります。
Table1 is -> Master
Table2 is -> Stock
マスターテーブルには約500K(50万)行があり、各行は他の行よりも一意です。マスターテーブルの各列には外部キーがあります(以下にサンプルを添付)
現在、ストックテーブルには約2万行あります。近い将来、最大300Kになる可能性があります。
問題
私の問題は、これらのテーブルに対してSQLクエリを実行していることです。これには、現時点では不明な時間がかかります。そこで、SQLクエリの実行時間を短縮するためにMySQLデータベースのパフォーマンスをどのように改善できるかを知りたいと思います。
SQLクエリは次のことを行います。
マスターテーブルの検索->ストックテーブルの検索->マスターテーブルの更新
上記の手順を完了するためにブラウザで実行するPHPファイルを介してSQLクエリを実行しています。マスターテーブルには500Kを超えるレコードがあるため、一度に呼び出すのは1,000レコードのみであり、上記の手順を実行し、1,000レコードの次のバッチに繰り返して、マスターテーブルの最後までこれを実行します。
これは、---
for loop fortoSearchテーブルを使用して実現しています。
株式の検索とマスターテーブルの更新にループしている間、合計で約5390サイクルになります。
テスト
テストの目的で、100レコードだけでストックテーブルを減らし、実行時間をチェックするためにすべての539Kレコードでマスターを維持しました。約140〜150秒かかります。
スクリプト
以下にスクリプトを添付しました
<?php
set_time_limit(36000);
$dbhost='localhost';
$dbuser='root';
$dbpass='';
$conn = mysql_connect($dbhost, $dbuser, $dbpass);
mysql_select_db("pmaster",$conn);
if (!$conn) { die('Could not connect : '.mysql_error()); }
$trecssql = "select count(distinct `Id`) Total from `Master`";
$trecs = mysql_fetch_assoc(mysql_query($trecssql));
$trecs = $trecs['Total'];
$recspt = 1000; // Records Per Transactions 539000
$trecs = ceil($trecs/$recspt);
$startrow = 1;
$endrow = 1000;
//$trecs = 50; // Comment it to work as normal.
$start_time = microtime(true);
これがバッチのループです
for ($i=1; $i<=$trecs; $i++) {
マスター行のバッチをフェッチするクエリは次のとおりです
$mastersql = "select `Id`,
`Attribute1`, `Attribute2`,
`Attribute3`, `Attribute4`, `Attribute5`
from `Master`
where Id between ".$startrow." and ".$endrow;
$this_mastersql = mysql_query($mastersql);
$updatesql = '';
これがバッチを処理するループです
while($master_rec = mysql_fetch_assoc($this_mastersql)) {
これは、マスターの各アイテムの在庫の内容を要約するクエリです。
$searchsql = "select min(Price) minprice,
avg(Price) avgprice,
max(Price) maxprice,
Currency from `Stock`
where Name1 = '".$master_rec['Attribute1']."'
AND Name2 = '".$master_rec['Attribute2']."'
AND Name3 = '".$master_rec['Attribute3']."'
AND Name4 = '".$master_rec['Attribute4']."'
AND Name5 = '".$master_rec['Attribute5']."';";
$this_searchsql = mysql_query($searchsql);
$search_rec = mysql_fetch_assoc($this_searchsql);
マスターテーブルを更新するクエリは次のとおりです。
$updatesql .= "update `Master`
set `MinP` = '".$search_rec['minprice']."',
`AvgP` = '".$search_rec['avgprice']."',
`MaxP` = '".$search_rec['maxprice']."',
`Currency` = '".$search_rec['currency']."'
where Id = '".$master_rec['Id']."';";
}
mysql_query($updatesql);
$startrow = $endrow+1;
$endrow = $startrow+999;
}
$end_time = microtime(true);
echo 'Updated <br /><br />';
echo "Scripts Execution time <br />";
echo "Time in Hours : Minutes : Seconds <br />"
.gmdate("H:i:s", $time_elapsed = $end_time - $start_time);
echo "<br /> <br /> Time in Seconds ".$time_elapsed;
?>
テーブル構造
Excelファイルのマスターテーブルのサンプルを添付しました。
https://docs.google.com/open?id=0B8Oew7S4GzgiQk5tbUZKdXVEUms
CREATE TABLE IF NOT EXISTS `Attribute1` (
`Id` int(3) NOT NULL,
`Name` varchar(50) NOT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
CREATE TABLE IF NOT EXISTS `Attribute2` (
`Id` int(10) NOT NULL,
`Name` decimal(3,2) NOT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
CREATE TABLE IF NOT EXISTS `Attribute3` (
`Id` int(3) NOT NULL,
`Name` varchar(5) NOT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
CREATE TABLE IF NOT EXISTS `Attribute4` (
`Id` int(3) NOT NULL,
`Name` varchar(20) NOT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
CREATE TABLE IF NOT EXISTS `Attribute5` (
`Id` int(3) NOT NULL,
`Name` varchar(100) NOT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
CREATE TABLE IF NOT EXISTS `Master` (
`Id` int(20) NOT NULL AUTO_INCREMENT,
`Attribute1` varchar(50) DEFAULT NULL,
`Attribute2` decimal(3,2) DEFAULT NULL,
`Attribute3` varchar(5) DEFAULT NULL,
`Attribute4` varchar(20) DEFAULT NULL,
`Attribute5` varchar(100) DEFAULT NULL,
`MinP` decimal(10,2) DEFAULT NULL,
`AvgP` decimal(10,2) DEFAULT NULL,
`MaxP` decimal(10,2) DEFAULT NULL,
`Currency` varchar(5) DEFAULT NULL,
PRIMARY KEY (`Id`),
KEY `Attribute1` (`Attribute1`),
KEY `Attribute2` (`Attribute2`),
KEY `Attribute3` (`Attribute3`),
KEY `Attribute4` (`Attribute4`),
KEY `Attribute5` (`Attribute5`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 AUTO_INCREMENT=1 ;
--
-- Constraints for table `Master`
--
ALTER TABLE `Master`
ADD CONSTRAINT `Master_ibfk_1` FOREIGN KEY (`Attribute1`) REFERENCES
`Attribute1` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
ADD CONSTRAINT `Master_ibfk_2` FOREIGN KEY (`Attribute2`) REFERENCES
`Attribute2` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
ADD CONSTRAINT `Master_ibfk_3` FOREIGN KEY (`Attribute3`) REFERENCES
`Attribute3` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
ADD CONSTRAINT `Master_ibfk_4` FOREIGN KEY (`Attribute4`) REFERENCES
`Attribute4` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
ADD CONSTRAINT `Master_ibfk_5` FOREIGN KEY (`Attribute5`) REFERENCES
`Attribute5` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE;
CREATE TABLE `pmaster`.`Stock` (
`Id` int( 10 ) NOT NULL AUTO_INCREMENT ,
`Name1` varchar( 10 ) NOT NULL ,
`Name2` decimal( 5, 2 ) NOT NULL ,
`Name3` varchar( 5 ) NOT NULL ,
`Name4` varchar( 5 ) NOT NULL ,
`Name5` varchar( 40 ) NOT NULL ,
`OtherFields1` varchar( 20 ) NOT NULL ,
`OtherFields2` varchar( 25 ) NOT NULL ,
`SoOn` varchar( 15 ) NOT NULL ,
`Price` decimal( 15, 2 ) NOT NULL ,
`Currency` varchar( 5 ) NOT NULL ,
PRIMARY KEY ( `id` ) ,
) ENGINE = InnoDB DEFAULT CHARSET = latin1;
現在、ストックテーブルのわずか100レコードで約140〜150秒かかります。レコードが増えるにつれて、多様体にかかる時間が長くなり、20Kレコードでは時間がかかるため、合計でどれだけの時間がかかるかを試していませんが、最後にスクリプトが3時間以上実行されていたとき、マスターテーブルの1つのレコードが更新されなかったため、終了する必要がありました。
つまり、完了の1%から2%である場合もあれば、それより少ない場合もあります。
どんなアイデアの友人でも、これをより速く行うにはどうすればよいでしょうか。
これらのデータベースのデータが必要な場合は、ここで生成してアップロードすることをお知らせください。