optimization - Mysql-このクエリを最適化するのに役立ちます

Question

システムについて：

-システムには合計8つのテーブルがあります-ユーザー-Tutor_Details（チューターはユーザーの一種です。Tutor_Detailsテーブルはユーザーにリンクされています）-learning_packs、（チューターによって作成されたパックを格納します）-learning_packs_tag_relations、（検索用のタグ関係を保持します）- tutors_tag_relationsとタグと注文（家庭教師のパックの購入の詳細を含む）、order_detailsは注文とtutor_detailsにリンクされています。

関連するテーブルのより明確なアイデアについては、最後の「テーブル」セクションを確認してください。

-タグベースの検索アプローチが採用されています。タグの関係は、新しい講師が登録したとき、および講師がパックを作成したときに作成されます（これにより、講師とパックが検索可能になります）。詳細については、「このシステムでタグがどのように機能するか」のセクションを確認してください。下。

以下は、私が最適化しようとしているより複雑なクエリの（実際ではない）より単純な表現です：-explanation of partsクエリのようにステートメントを使用しました

================================================== ==========================

select 

SUM(DISTINCT( t.tag LIKE "%Dictatorship%" )) as key_1_total_matches, 
SUM(DISTINCT( t.tag LIKE "%democracy%" )) as key_2_total_matches,
td.*, u.*, count(distinct(od.id_od)), `if (lp.id_lp > 0) then some conditional logic on lp fields else 0 as tutor_popularity`

from Tutor_Details AS td JOIN Users as u on u.id_user = td.id_user 

LEFT JOIN Learning_Packs_Tag_Relations AS lptagrels ON td.id_tutor = lptagrels.id_tutor 
LEFT JOIN Learning_Packs AS lp ON lptagrels.id_lp = lp.id_lp 
LEFT JOIN `some other tables on lp.id_lp - let's call learning pack tables set (including 

Learning_Packs table)`

LEFT JOIN Order_Details as od on td.id_tutor = od.id_author LEFT JOIN Orders as o on 

od.id_order = o.id_order 

LEFT JOIN Tutors_Tag_Relations as ttagrels ON td.id_tutor = ttagrels.id_tutor 

JOIN Tags as t on (t.id_tag = ttagrels.id_tag) OR (t.id_tag = lptagrels.id_tag) 

where `some condition on Users table's fields`

AND CASE WHEN ((t.id_tag = lptagrels.id_tag) AND (lp.id_lp > 0)) THEN `some 

conditions on learning pack tables set` ELSE 1 END

 AND CASE WHEN ((t.id_tag = wtagrels.id_tag) AND (wc.id_wc > 0)) THEN `some 

conditions on webclasses tables set` ELSE 1 END

 AND CASE WHEN (od.id_od>0) THEN od.id_author = td.id_tutor and `some conditions on Orders table's fields` ELSE 1 END

 AND ( t.tag LIKE "%Dictatorship%" OR t.tag LIKE "%democracy%")

group by td.id_tutor HAVING key_1_total_matches = 1 AND key_2_total_matches = 1
order by tutor_popularity desc, u.surname asc, u.name asc limit 
0,20

================================================== ===================

上記のクエリは何をしますか？

• ANDロジックは検索キーワード（この例では2つ-「民主主義」と「独裁」）を検索しますか。
• 2つのセットの和集合に両方のキーワードが存在するチューターのみを返します-チューターの詳細と、チューターによって作成されたすべてのパックの詳細。

明確にするために-家庭教師の名前「SandeepanNath」がパック「Myfirstpack」を作成したとすると、次のようになります。-

• 「SandeepanNath」を検索すると、SandeepanNathが返されます。
• 「Sandeepanfirst」を検索すると、SandeepanNathが返されます。
• 「Sandeepansecond」を検索しても、SandeepanNathは返されません。

================================================== ====================================

問題

上記のクエリによって返される結果は正しいです（そしてロジックは期待どおりに機能します）が、負荷の高いデータベースでのクエリにかかる時間は、0.005〜0.0002秒のオーダーの通常のクエリタイミングとは異なり、25秒程度です。完全に使用できません。

考えられるすべてのフィールドがまだインデックスに登録されていないために、遅延の一部が発生している可能性がありますが、同じ結果を表示する、可能な限り最適化されたソリューションとして、より良いクエリをいただければ幸いです。

================================================== ========================================

このシステムでタグはどのように機能しますか？

• 講師が登録すると、タグが入力され、名前、名前などの講師の詳細に関してタグ関係が作成されます。
• 家庭教師がパックを作成すると、再びタグが入力され、パック名、説明などのパックの詳細に関してタグ関係が作成されます。
• tutors_tag_relationsに保存されている家庭教師とlearning_packs_tag_relationsに保存されているパックのタグ関係。個々のタグはすべてタグテーブルに保存されます。

================================================== ==================

テーブル

次の表のほとんどには、ここで省略した他の多くのフィールドが含まれています。

CREATE TABLE IF NOT EXISTS `users` (
  `id_user` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `name` varchar(100) NOT NULL DEFAULT '',
  `surname` varchar(155) NOT NULL DEFAULT '',
  PRIMARY KEY (`id_user`)
  ) ENGINE=InnoDB  DEFAULT CHARSET=utf8 AUTO_INCREMENT=636 ;

CREATE TABLE IF NOT EXISTS `tutor_details` (
  `id_tutor` int(10) NOT NULL AUTO_INCREMENT,
  `id_user` int(10) NOT NULL DEFAULT '0',
  PRIMARY KEY (`id_tutor`),
  KEY `Users_FKIndex1` (`id_user`)
) ENGINE=InnoDB  DEFAULT CHARSET=latin1 AUTO_INCREMENT=51 ;



CREATE TABLE IF NOT EXISTS `orders` (
  `id_order` int(10) unsigned NOT NULL AUTO_INCREMENT,
  PRIMARY KEY (`id_order`),
  KEY `Orders_FKIndex1` (`id_user`),
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 AUTO_INCREMENT=275 ;

ALTER TABLE `orders`
  ADD CONSTRAINT `Orders_ibfk_1` FOREIGN KEY (`id_user`) REFERENCES `users` 

(`id_user`) ON DELETE NO ACTION ON UPDATE NO ACTION;



CREATE TABLE IF NOT EXISTS `order_details` (
  `id_od` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `id_order` int(10) unsigned NOT NULL DEFAULT '0',
  `id_author` int(10) NOT NULL DEFAULT '0',
  PRIMARY KEY (`id_od`),
  KEY `Order_Details_FKIndex1` (`id_order`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 AUTO_INCREMENT=284 ;

ALTER TABLE `order_details`
  ADD CONSTRAINT `Order_Details_ibfk_1` FOREIGN KEY (`id_order`) REFERENCES `orders` 

(`id_order`) ON DELETE NO ACTION ON UPDATE NO ACTION;



CREATE TABLE IF NOT EXISTS `learning_packs` (
  `id_lp` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `id_author` int(10) unsigned NOT NULL DEFAULT '0',
  PRIMARY KEY (`id_lp`),
  KEY `Learning_Packs_FKIndex2` (`id_author`),
  KEY `id_lp` (`id_lp`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 AUTO_INCREMENT=23 ;


CREATE TABLE IF NOT EXISTS `tags` (
  `id_tag` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `tag` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id_tag`),
  UNIQUE KEY `tag` (`tag`),
  KEY `id_tag` (`id_tag`),
  KEY `tag_2` (`tag`),
  KEY `tag_3` (`tag`)
) ENGINE=InnoDB  DEFAULT CHARSET=latin1 AUTO_INCREMENT=3419 ;



CREATE TABLE IF NOT EXISTS `tutors_tag_relations` (
  `id_tag` int(10) unsigned NOT NULL DEFAULT '0',
  `id_tutor` int(10) DEFAULT NULL,
  KEY `Tutors_Tag_Relations` (`id_tag`),
  KEY `id_tutor` (`id_tutor`),
  KEY `id_tag` (`id_tag`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

ALTER TABLE `tutors_tag_relations`
  ADD CONSTRAINT `Tutors_Tag_Relations_ibfk_1` FOREIGN KEY (`id_tag`) REFERENCES 

`tags` (`id_tag`) ON DELETE NO ACTION ON UPDATE NO ACTION;


CREATE TABLE IF NOT EXISTS `learning_packs_tag_relations` (
  `id_tag` int(10) unsigned NOT NULL DEFAULT '0',
  `id_tutor` int(10) DEFAULT NULL,
  `id_lp` int(10) unsigned DEFAULT NULL,
  KEY `Learning_Packs_Tag_Relations_FKIndex1` (`id_tag`),
  KEY `id_lp` (`id_lp`),
  KEY `id_tag` (`id_tag`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

ALTER TABLE `learning_packs_tag_relations`
  ADD CONSTRAINT `Learning_Packs_Tag_Relations_ibfk_1` FOREIGN KEY (`id_tag`) 

REFERENCES `tags` (`id_tag`) ON DELETE NO ACTION ON UPDATE NO ACTION;

================================================== =================================

以下は正確なクエリです（これにはクラスも含まれます-チューターはクラスを作成でき、検索用語はチューターによって作成されたクラスと照合されます）：-

SELECT SUM(DISTINCT( t.tag LIKE "%Dictatorship%" )) AS key_1_total_matches,
       SUM(DISTINCT( t.tag LIKE "%democracy%" ))    AS key_2_total_matches,
       COUNT(DISTINCT( od.id_od ))                  AS tutor_popularity,
       CASE
         WHEN ( IF(( wc.id_wc > 0 ), ( wc.wc_api_status = 1
                                       AND wc.wc_type = 0
                                       AND wc.class_date > '2010-06-01 22:00:56'
                                       AND wccp.status = 1
                                       AND ( wccp.country_code = 'IE'
                                              OR wccp.country_code IN ( 'INT' )
                                           ) ), 0)
              ) THEN 1
         ELSE 0
       END                                          AS 'classes_published',
       CASE
         WHEN ( IF(( lp.id_lp > 0 ), ( lp.id_status = 1
                                       AND lp.published = 1
                                       AND lpcp.status = 1
                                       AND ( lpcp.country_code = 'IE'
                                              OR lpcp.country_code IN ( 'INT' )
                                           ) ), 0)
              ) THEN 1
         ELSE 0
       END                                          AS 'packs_published',
       td . *,
       u . *
FROM   tutor_details AS td
       JOIN users AS u
         ON u.id_user = td.id_user
       LEFT JOIN learning_packs_tag_relations AS lptagrels
         ON td.id_tutor = lptagrels.id_tutor
       LEFT JOIN learning_packs AS lp
         ON lptagrels.id_lp = lp.id_lp
       LEFT JOIN learning_packs_categories AS lpc
         ON lpc.id_lp_cat = lp.id_lp_cat
       LEFT JOIN learning_packs_categories AS lpcp
         ON lpcp.id_lp_cat = lpc.id_parent
       LEFT JOIN learning_pack_content AS lpct
         ON ( lp.id_lp = lpct.id_lp )
       LEFT JOIN webclasses_tag_relations AS wtagrels
         ON td.id_tutor = wtagrels.id_tutor
       LEFT JOIN webclasses AS wc
         ON wtagrels.id_wc = wc.id_wc
       LEFT JOIN learning_packs_categories AS wcc
         ON wcc.id_lp_cat = wc.id_wp_cat
       LEFT JOIN learning_packs_categories AS wccp
         ON wccp.id_lp_cat = wcc.id_parent
       LEFT JOIN order_details AS od
         ON td.id_tutor = od.id_author
       LEFT JOIN orders AS o
         ON od.id_order = o.id_order
       LEFT JOIN tutors_tag_relations AS ttagrels
         ON td.id_tutor = ttagrels.id_tutor
       JOIN tags AS t
         ON ( t.id_tag = ttagrels.id_tag )
             OR ( t.id_tag = lptagrels.id_tag )
             OR ( t.id_tag = wtagrels.id_tag )
WHERE  ( u.country = 'IE'
          OR u.country IN ( 'INT' ) )
       AND CASE
             WHEN ( ( t.id_tag = lptagrels.id_tag )
                    AND ( lp.id_lp > 0 ) ) THEN lp.id_status = 1
                                                AND lp.published = 1
                                                AND lpcp.status = 1
                                                AND ( lpcp.country_code = 'IE'
                                                       OR lpcp.country_code IN (
                                                          'INT'
                                                          ) )
             ELSE 1
           END
       AND CASE
             WHEN ( ( t.id_tag = wtagrels.id_tag )
                    AND ( wc.id_wc > 0 ) ) THEN wc.wc_api_status = 1
                                                AND wc.wc_type = 0
                                                AND
             wc.class_date > '2010-06-01 22:00:56'
                                                AND wccp.status = 1
                                                AND ( wccp.country_code = 'IE'
                                                       OR wccp.country_code IN (
                                                          'INT'
                                                          ) )
             ELSE 1
           END
       AND CASE
             WHEN ( od.id_od > 0 ) THEN od.id_author = td.id_tutor
                                        AND o.order_status = 'paid'
                                        AND CASE
             WHEN ( od.id_wc > 0 ) THEN od.can_attend_class = 1
             ELSE 1
                                            END
             ELSE 1
           END
GROUP  BY td.id_tutor
HAVING key_1_total_matches = 1
       AND key_2_total_matches = 1
ORDER  BY tutor_popularity DESC,
          u.surname ASC,
          u.name ASC
LIMIT  0, 20  

注意-提供されたデータベース構造には、このクエリのようにすべてのフィールドとテーブルが表示されるわけではありません

================================================== ===================================

Explainクエリの出力：- このスクリーンショットを参照して くださいhttp://www.test.examvillage.com/Explain_query.jpg

Answer 1

行数、値の分布、インデックス、データベースのサイズ、メモリのサイズ、ディスクレイアウト（RAID 0、5など）に関する情報-クエリが遅いときにデータベースにアクセスしているユーザーの数-実行中の他のクエリ。これらすべてがパフォーマンスに影響します。

また、説明プランの出力を印刷すると、それが単なるクエリ/インデックスの問題である場合、原因が明らかになる可能性があります。正確なクエリも必要になります。

Answer 2

1. クエリには、より適切なフォーマットを使用する必要があります。この優れたコードフォーマットを取得するには、各行の先頭に少なくとも4つのスペースを追加するだけです。

   SELECT * FROM sometable
       INNER JOIN anothertable ON sometable.id = anothertable.sometable_id
   

   または、こちらをご覧ください：https ://stackoverflow.com/editing-help

2. mysqlから実行プランを提供できますか？クエリに「EXPLAIN」を追加して、結果をコピーする必要があります。

   EXPLAIN SELECT * FROM ...complexquery...
   

   いくつかの有用なヒント（実行順序、返された行、使用可能な/使用されたインデックス）を提供します

Answer 3

あなたの質問は、「特定のタグに一致する家庭教師をどのように見つけることができますか？」です。それは難しい質問ではないので、それに答える質問も難しいことではありません。

何かのようなもの：

SELECT *
FROM tutors
WHERE tags LIKE '%Dictator%' AND tags LIKE '%Democracy%'

これは、「家庭教師」テーブルに「タグ」フィールドが含まれるようにデザインを変更した場合に機能します。このフィールドには、その家庭教師に適用されるすべてのタグを配置します。結合とテーブルのレイヤーを排除します。

これらの結合とテーブルのすべてのレイヤーが実際の機能を提供しているのでしょうか、それともプログラミング上の問題が多いのでしょうか。アプリが本当に必要とする機能について考えてから、データベース設計を簡素化してください。

Answer 4

私自身の質問に答えます。

このアプローチの主な問題は、1つのクエリで結合されるテーブルが多すぎることでした。Tags非常に多くのテーブルと結合すると、（レコードの数が多い-将来的には語彙のすべての英語の単語を保持できる）のようなテーブルのいくつかは、この乗算効果を引き起こしますが、これに対抗することはできません。

解決策は基本的に、1つのクエリであまりにも多くの結合が行われないようにすることです。1つの大きな結合クエリをステップに分割し、1つのクエリ（一部のテーブルでの結合を含む）の結果を次の結合クエリ（他のテーブルでの結合を含む）に使用すると、乗算効果が減少します。

これについては、後でより適切に説明しようと思います。