0

My-SQLデータベースに2つのメインテーブルがあります。

Table1 is -> Master
Table2 is -> Stock

マスターテーブルには約500K(50万)行があり、各行は他の行よりも一意です。マスターテーブルの各列には外部キーがあります(以下にサンプルを添付)

現在、ストックテーブルには約2万行あります。近い将来、最大300Kになる可能性があります。

問題

私の問題は、これらのテーブルに対してSQLクエリを実行していることです。これには、現時点では不明な時間がかかります。そこで、SQLクエリの実行時間を短縮するためにMySQLデータベースのパフォーマンスをどのように改善できるかを知りたいと思います。

SQLクエリは次のことを行います。

マスターテーブルの検索->ストックテーブルの検索->マスターテーブルの更新

上記の手順を完了するためにブラウザで実行するPHPファイルを介してSQLクエリを実行しています。マスターテーブルには500Kを超えるレコードがあるため、一度に呼び出すのは1,000レコードのみであり、上記の手順を実行し、1,000レコードの次のバッチに繰り返して、マスターテーブルの最後までこれを実行します。

これは、---
for loop fortoSearchテーブルを使用して実現しています。
株式の検索とマスターテーブルの更新にループしている間、合計で約5390サイクルになります。

テスト
テストの目的で、100レコードだけでストックテーブルを減らし、実行時間をチェックするためにすべての539Kレコードでマスターを維持しました。約140〜150秒かかります。

スクリプト
以下にスクリプトを添付しました

<?php
set_time_limit(36000);

$dbhost='localhost';
$dbuser='root';
$dbpass='';

$conn = mysql_connect($dbhost, $dbuser, $dbpass);

mysql_select_db("pmaster",$conn);

if (!$conn) {   die('Could not connect : '.mysql_error());  }

$trecssql = "select count(distinct `Id`) Total from `Master`";
$trecs = mysql_fetch_assoc(mysql_query($trecssql));

$trecs = $trecs['Total'];
$recspt = 1000; // Records Per Transactions 539000
$trecs = ceil($trecs/$recspt);
$startrow = 1;
$endrow = 1000;
//$trecs = 50; // Comment it to work as normal.

$start_time = microtime(true);

これがバッチのループです

for ($i=1; $i<=$trecs; $i++) {

マスター行のバッチをフェッチするクエリは次のとおりです

    $mastersql = "select `Id`, 
                         `Attribute1`, `Attribute2`, 
                         `Attribute3`, `Attribute4`, `Attribute5` 
                   from `Master` 
               where Id between ".$startrow." and ".$endrow;
    $this_mastersql = mysql_query($mastersql);
    $updatesql = '';

これがバッチを処理するループです

    while($master_rec = mysql_fetch_assoc($this_mastersql)) {

これは、マスターの各アイテムの在庫の内容を要約するクエリです。

       $searchsql = "select min(Price) minprice, 
                            avg(Price) avgprice, 
                            max(Price) maxprice, 
                            Currency from `Stock`
                      where     Name1 = '".$master_rec['Attribute1']."'
                    AND     Name2 = '".$master_rec['Attribute2']."'
                        AND     Name3 = '".$master_rec['Attribute3']."'
                        AND     Name4 = '".$master_rec['Attribute4']."'
                        AND     Name5 = '".$master_rec['Attribute5']."';";

        $this_searchsql = mysql_query($searchsql);
        $search_rec = mysql_fetch_assoc($this_searchsql);

マスターテーブルを更新するクエリは次のとおりです。

        $updatesql .= "update `Master`
                set `MinP` = '".$search_rec['minprice']."',
                    `AvgP` = '".$search_rec['avgprice']."',
                                `MaxP` = '".$search_rec['maxprice']."',
                                `Currency` = '".$search_rec['currency']."'
                            where Id = '".$master_rec['Id']."';";
    }

    mysql_query($updatesql);

    $startrow = $endrow+1;
    $endrow = $startrow+999;
}



$end_time = microtime(true);

echo 'Updated <br /><br />';
echo "Scripts Execution time <br />";
echo "Time in Hours : Minutes : Seconds <br />"
     .gmdate("H:i:s", $time_elapsed = $end_time - $start_time);
echo "<br /> <br /> Time in Seconds ".$time_elapsed;

?>

テーブル構造
Excelファイルのマスターテーブルのサンプルを添付しました。
https://docs.google.com/open?id=0B8Oew7S4GzgiQk5tbUZKdXVEUms

CREATE TABLE IF NOT EXISTS `Attribute1` (
  `Id` int(3) NOT NULL,
  `Name` varchar(50) NOT NULL,
  PRIMARY KEY (`Id`),
  UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

CREATE TABLE IF NOT EXISTS `Attribute2` (
  `Id` int(10) NOT NULL,
  `Name` decimal(3,2) NOT NULL,
  PRIMARY KEY (`Id`),
  UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

CREATE TABLE IF NOT EXISTS `Attribute3` (
  `Id` int(3) NOT NULL,
  `Name` varchar(5) NOT NULL,
  PRIMARY KEY (`Id`),
  UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

CREATE TABLE IF NOT EXISTS `Attribute4` (
  `Id` int(3) NOT NULL,
  `Name` varchar(20) NOT NULL,
  PRIMARY KEY (`Id`),
  UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

CREATE TABLE IF NOT EXISTS `Attribute5` (
  `Id` int(3) NOT NULL,
  `Name` varchar(100) NOT NULL,
  PRIMARY KEY (`Id`),
  UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

CREATE TABLE IF NOT EXISTS `Master` (
  `Id` int(20) NOT NULL AUTO_INCREMENT,
  `Attribute1` varchar(50) DEFAULT NULL,
  `Attribute2` decimal(3,2) DEFAULT NULL,
  `Attribute3` varchar(5) DEFAULT NULL,
  `Attribute4` varchar(20) DEFAULT NULL,
  `Attribute5` varchar(100) DEFAULT NULL,
  `MinP` decimal(10,2) DEFAULT NULL,
  `AvgP` decimal(10,2) DEFAULT NULL,
  `MaxP` decimal(10,2) DEFAULT NULL,
  `Currency` varchar(5) DEFAULT NULL,
  PRIMARY KEY (`Id`),
  KEY `Attribute1` (`Attribute1`),
  KEY `Attribute2` (`Attribute2`),
  KEY `Attribute3` (`Attribute3`),
  KEY `Attribute4` (`Attribute4`),
  KEY `Attribute5` (`Attribute5`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 AUTO_INCREMENT=1 ;

--
-- Constraints for table `Master`
--
ALTER TABLE `Master`
  ADD CONSTRAINT `Master_ibfk_1` FOREIGN KEY (`Attribute1`) REFERENCES 
      `Attribute1` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
  ADD CONSTRAINT `Master_ibfk_2` FOREIGN KEY (`Attribute2`) REFERENCES 
      `Attribute2` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
  ADD CONSTRAINT `Master_ibfk_3` FOREIGN KEY (`Attribute3`) REFERENCES 
      `Attribute3` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
  ADD CONSTRAINT `Master_ibfk_4` FOREIGN KEY (`Attribute4`) REFERENCES 
      `Attribute4` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
  ADD CONSTRAINT `Master_ibfk_5` FOREIGN KEY (`Attribute5`) REFERENCES 
      `Attribute5` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE;


CREATE  TABLE  `pmaster`.`Stock` (  
 `Id` int( 10  )  NOT  NULL  AUTO_INCREMENT ,
 `Name1` varchar( 10  )  NOT  NULL ,
 `Name2` decimal( 5, 2  )  NOT  NULL ,
 `Name3` varchar( 5  )  NOT  NULL ,
 `Name4` varchar( 5  )  NOT  NULL ,
 `Name5` varchar( 40  )  NOT  NULL ,
 `OtherFields1` varchar( 20  )  NOT  NULL ,
 `OtherFields2` varchar( 25  )  NOT  NULL ,
 `SoOn` varchar( 15  )  NOT  NULL ,
 `Price` decimal( 15, 2  )  NOT  NULL ,
 `Currency` varchar( 5  )  NOT  NULL ,
 PRIMARY  KEY (  `id`  ) ,
) ENGINE  = InnoDB  DEFAULT CHARSET  = latin1;



現在、ストックテーブルのわずか100レコードで約140〜150秒かかります。レコードが増えるにつれて、多様体にかかる時間が長くなり、20Kレコードでは時間がかかるため、合計でどれだけの時間がかかるかを試していませんが、最後にスクリプトが3時間以上実行されていたとき、マスターテーブルの1つのレコードが更新されなかったため、終了する必要がありました。

つまり、完了の1%から2%である場合もあれば、それより少ない場合もあります。

どんなアイデアの友人でも、これをより速く行うにはどうすればよいでしょうか。
これらのデータベースのデータが必要な場合は、ここで生成してアップロードすることをお知らせください。

4

1 に答える 1

2

1000レコードのバッチを取り除くことを検討する必要があります。2つのクエリではなく、このクエリを1回だけ使用することを検討する必要があります。このクエリにより、マスターテーブルで実行する必要のあるUPDATEごとに行が生成されます。

SELECT m.Id, 
       min(s.Price) minprice, 
       avg(s.Price) avgprice, 
       max(s.Price) maxprice, 
       s.Currency 
  FROM Stock s
 INNER JOIN Master m
     ON (    s.Name1 = m.Attribute1
         AND s.Name2 = m.Attribute2
         AND s.Name3 = m.Attribute3
         AND s.Name4 = m.Attribute4
         AND s.Name5 = m.Attribute5)
  GROUP BY m.Id, s.Currency

このクエリは、マスターテーブルの属性に一致するストックテーブルの行のグループごとに1つの行を生成します。

StockテーブルのNameアイテムとMasterテーブルのAttributeアイテムに複合インデックスを配置する場合、このクエリはかなり効率的です。

于 2012-08-18T11:56:13.067 に答える