【问题标题】:Mysql - help me optimize this query (improved question)Mysql - 帮我优化这个查询(改进的问题)
【发布时间】:2010-06-11 18:39:51
【问题描述】:

关于系统: - 有创建课程和包的导师 - 正在遵循基于标签的搜索方法。当新导师注册和导师创建包时创建标签关系(这使得导师和包可搜索)。有关详细信息,请查看标签在此系统中的工作原理部分?下面。

以下是相关查询

SELECT SUM(DISTINCT( t.tag LIKE "%Dictatorship%" )) AS key_1_total_matches,
       SUM(DISTINCT( t.tag LIKE "%democracy%" ))    AS key_2_total_matches,
       COUNT(DISTINCT( od.id_od ))                  AS tutor_popularity,
       CASE
         WHEN ( IF(( wc.id_wc > 0 ), ( wc.wc_api_status = 1
                                       AND wc.wc_type = 0
                                       AND wc.class_date > '2010-06-01 22:00:56'
                                       AND wccp.status = 1
                                       AND ( wccp.country_code = 'IE'
                                              OR wccp.country_code IN ( 'INT' )
                                           ) ), 0)
              ) THEN 1
         ELSE 0
       END                                          AS 'classes_published',
       CASE
         WHEN ( IF(( lp.id_lp > 0 ), ( lp.id_status = 1
                                       AND lp.published = 1
                                       AND lpcp.status = 1
                                       AND ( lpcp.country_code = 'IE'
                                              OR lpcp.country_code IN ( 'INT' )
                                           ) ), 0)
              ) THEN 1
         ELSE 0
       END                                          AS 'packs_published',
       td . *,
       u . *
FROM   tutor_details AS td
       JOIN users AS u
         ON u.id_user = td.id_user
       LEFT JOIN learning_packs_tag_relations AS lptagrels
         ON td.id_tutor = lptagrels.id_tutor
       LEFT JOIN learning_packs AS lp
         ON lptagrels.id_lp = lp.id_lp
       LEFT JOIN learning_packs_categories AS lpc
         ON lpc.id_lp_cat = lp.id_lp_cat
       LEFT JOIN learning_packs_categories AS lpcp
         ON lpcp.id_lp_cat = lpc.id_parent
       LEFT JOIN learning_pack_content AS lpct
         ON ( lp.id_lp = lpct.id_lp )
       LEFT JOIN webclasses_tag_relations AS wtagrels
         ON td.id_tutor = wtagrels.id_tutor
       LEFT JOIN webclasses AS wc
         ON wtagrels.id_wc = wc.id_wc
       LEFT JOIN learning_packs_categories AS wcc
         ON wcc.id_lp_cat = wc.id_wp_cat
       LEFT JOIN learning_packs_categories AS wccp
         ON wccp.id_lp_cat = wcc.id_parent
       LEFT JOIN order_details AS od
         ON td.id_tutor = od.id_author
       LEFT JOIN orders AS o
         ON od.id_order = o.id_order
       LEFT JOIN tutors_tag_relations AS ttagrels
         ON td.id_tutor = ttagrels.id_tutor
       JOIN tags AS t
         ON ( t.id_tag = ttagrels.id_tag )
             OR ( t.id_tag = lptagrels.id_tag )
             OR ( t.id_tag = wtagrels.id_tag )
WHERE  ( u.country = 'IE'
          OR u.country IN ( 'INT' ) )
       AND CASE
             WHEN ( ( t.id_tag = lptagrels.id_tag )
                    AND ( lp.id_lp > 0 ) ) THEN lp.id_status = 1
                                                AND lp.published = 1
                                                AND lpcp.status = 1
                                                AND ( lpcp.country_code = 'IE'
                                                       OR lpcp.country_code IN (
                                                          'INT'
                                                          ) )
             ELSE 1
           END
       AND CASE
             WHEN ( ( t.id_tag = wtagrels.id_tag )
                    AND ( wc.id_wc > 0 ) ) THEN wc.wc_api_status = 1
                                                AND wc.wc_type = 0
                                                AND
             wc.class_date > '2010-06-01 22:00:56'
                                                AND wccp.status = 1
                                                AND ( wccp.country_code = 'IE'
                                                       OR wccp.country_code IN (
                                                          'INT'
                                                          ) )
             ELSE 1
           END
       AND CASE
             WHEN ( od.id_od > 0 ) THEN od.id_author = td.id_tutor
                                        AND o.order_status = 'paid'
                                        AND CASE
             WHEN ( od.id_wc > 0 ) THEN od.can_attend_class = 1
             ELSE 1
                                            END
             ELSE 1
           END
       AND ( t.tag LIKE "%Dictatorship%"
              OR t.tag LIKE "%Democracy%" )
GROUP  BY td.id_tutor
HAVING key_1_total_matches = 1
       AND key_2_total_matches = 1
ORDER  BY tutor_popularity DESC,
          u.surname ASC,
          u.name ASC
LIMIT  0, 20  

问题

上述查询返回的结果是正确的(AND 逻辑按预期工作),但是对于较重的数据,查询所花费的时间惊人地增加,而对于我拥有的当前数据,与正常查询时间相比,它大约是 25 秒大约 0.005 - 0.0002 秒,这使得它完全无法使用。

由于所有可能的字段尚未编入索引,可能会导致一些延迟。标签表的标签字段被索引。 查询有问题吗? 执行时间超过 20 秒的原因是什么?

标签在这个系统中是如何工作的?

  • 当导师注册时,会输入标签并根据导师的详细信息(如姓名、姓氏等)创建标签关系。
  • 当导师创建包时,再次输入标签并根据包的详细信息(如包名称、描述等)创建标签关系。
  • 为存储在tutors_tag_relations 中的导师和存储在learning_packs_tag_relations 中的包标记关系。所有单独的标签都存储在标签表中。

解释查询输出:- 请看这个截图 - http://www.test.examvillage.com/Explain_query.jpg

【问题讨论】:

  • 代码高亮是一个很棒的功能
  • @sandeepan-nath:我将您的查询格式化为代码(选择并按 Ctrl+K),但除非您重新格式化,否则只有少数人会查看它...
  • @Peter 谢谢。我不知道如何缩进它。如果你能说出来,我检查了stackoverflow.com/editing-help,但无法理解那部分。
  • 使用这个:dpriver.com/pp/sqlformat.htm 并选择 SQL(Text) 作为输出粘贴到这里
  • @sandeepan-nath:重要的部分是代码前有 4 个空格。您可以通过选择代码并使用 Code Sample 按钮 (101 010) 或按 Ctrl+K 来完成此操作。确保粘贴前正确格式化查询,然后选择它并将其格式化为代码示例。

标签: sql mysql optimization multiple-tables


【解决方案1】:

您可能会看到它是否有助于在以下字段中添加索引:

lptagrels.id_tutor
wtagrels.id_tutor
od.id_author

然后尝试从 where 子句中删除 case-when 结构。 您可以直接添加一些特定于表的限制来加入,例如:left join t2 on t1.id = t2.id AND ... 以使代码更具可读性。

编辑: 似乎你在这里有一个错误的方法:你搜索所有标签,然后计算匹配搜索的标签。相反,您应该搜索匹配的标签,然后计算具有这些标签的结果。

【讨论】:

  • 我能理解你说的错误方法。如果您可以更改我的查询并至少示意性地指出我该怎么做...谢谢
  • 我现在在 where 子句的末尾添加了“ AND ( t.tag LIKE "%Dictatorship%" OR t.tag LIKE "%Democracy%" )" 条件,但我认为它仍然不像您建议的那样“先搜索标签然后计算结果”。您能否像 ceteras 建议的那样,提供有关如何执行基于临时表的查询的任何想法?
  • 就像你说的,我现在在一个查询中找到匹配的标签,然后在一个临时表上运行主查询。但仍然面临一些问题。请检查您是否可以帮助我stackoverflow.com/questions/3030022/…
【解决方案2】:

我最近遇到了类似的问题。我必须修改查询以实现新功能,这意味着添加多个连接和左连接。逻辑是正确实现的,但是对于一些更大的表来说,它需要很长时间。

正如 Brian 建议的那样,解决方案是完全重写。

我的新方法是这样的:

  • 创建一个临时表并在此处插入可能最终出现在最终结果集中的所有相关数据
  • 在此表上运行多个更新,一次加入一个所需的表,而不是同时加入所有表
  • 最后对该临时表执行查询以提取最终结果

所有这些都是在一个存储过程中完成的,最终结果已经通过了单元测试,而且速度非常快。

更新

请测试此查询,看看它是否返回与原始相同的结果。 如果是这样,那么我会进一步尝试找到更好的实现。

SELECT SUM(DISTINCT( t.tag LIKE "%Dictatorship%" )) AS key_1_total_matches,
       SUM(DISTINCT( t.tag LIKE "%democracy%" ))    AS key_2_total_matches,
       COUNT(DISTINCT( od.id_od ))                  AS tutor_popularity,
        (wc.id_wc > 0 
        AND wc.wc_api_status = 1
        AND wc.wc_type = 0
        AND wc.class_date > '2010-06-01 22:00:56'
        AND wccp.status = 1
        AND ( wccp.country_code = 'IE' OR wccp.country_code IN ( 'INT' )) 
        ) AS 'classes_published',
        (lp.id_lp > 0  
        AND lp.id_status = 1
        AND lp.published = 1
        AND lpcp.status = 1
        AND ( lpcp.country_code = 'IE' OR lpcp.country_code IN ( 'INT' ) ) 
        ) AS 'packs_published',
       td . *,
       u . *
FROM   tutor_details AS td JOIN users AS u ON u.id_user = td.id_user
            LEFT JOIN order_details AS od                           ON td.id_tutor = od.id_author
                LEFT JOIN orders AS o                               ON od.id_order = o.id_order
            LEFT JOIN learning_packs_tag_relations AS lptagrels     ON td.id_tutor = lptagrels.id_tutor -- 
               LEFT JOIN learning_packs AS lp                       ON lptagrels.id_lp = lp.id_lp
                   LEFT JOIN learning_packs_categories AS lpc       ON lpc.id_lp_cat = lp.id_lp_cat
                       LEFT JOIN learning_packs_categories AS lpcp  ON lpcp.id_lp_cat = lpc.id_parent
                   LEFT JOIN learning_pack_content AS lpct          ON ( lp.id_lp = lpct.id_lp )
            LEFT JOIN webclasses_tag_relations AS wtagrels          ON td.id_tutor = wtagrels.id_tutor  -- 
               LEFT JOIN webclasses AS wc                           ON wtagrels.id_wc = wc.id_wc
                   LEFT JOIN learning_packs_categories AS wcc       ON wcc.id_lp_cat = wc.id_wp_cat
                       LEFT JOIN learning_packs_categories AS wccp  ON wccp.id_lp_cat = wcc.id_parent
            LEFT JOIN tutors_tag_relations AS ttagrels              ON td.id_tutor = ttagrels.id_tutor -- 
        JOIN tags AS t                                              ON ( t.id_tag = ttagrels.id_tag ) 
                                                                        OR ( t.id_tag = lptagrels.id_tag ) 
                                                                        OR ( t.id_tag = wtagrels.id_tag )
WHERE  ( u.country = 'IE' OR u.country IN ( 'INT' ) )
       AND (NOT ( t.id_tag = lptagrels.id_tag AND lp.id_lp > 0) 
            or (lp.id_status = 1
                AND lp.published = 1
                AND lpcp.status = 1
                AND ( lpcp.country_code = 'IE' OR lpcp.country_code IN ('INT') )
                ) 
            )
       AND (not (t.id_tag = wtagrels.id_tag AND wc.id_wc > 0 )
            or (
                wc.wc_api_status = 1
                AND wc.wc_type = 0
                AND wc.class_date > '2010-06-01 22:00:56'
                AND wccp.status = 1
                AND ( wccp.country_code = 'IE' OR wccp.country_code IN ('INT' ) )
                )
            )
       AND (NOT (od.id_od > 0) 
            OR (
                od.id_author = td.id_tutor
                AND o.order_status = 'paid'
                AND (NOT (od.id_wc > 0) OR od.can_attend_class = 1)
                )
        )
       AND ( t.tag LIKE "%Dictatorship%" OR t.tag LIKE "%Democracy%" )
GROUP  BY td.id_tutor
HAVING key_1_total_matches = 1
       AND key_2_total_matches = 1
ORDER  BY tutor_popularity DESC,
          u.surname ASC,
          u.name ASC
LIMIT  0, 20  

【讨论】:

  • 你说的临时表是指视图吗?
  • 不,因为视图对您的情况毫无帮助。我的意思是临时表,字面意思。
  • 好的,我研究了临时表。如果您至少可以建议以我为例的查询序列的示意性方法-在临时表中存储什么和多少数据(我猜,在我的情况下是 td.*、u.* 等)-我更新了什么应该加入所需的表。这可以给我一个好的开始!
  • 抱歉回复晚了。好吧,这个想法是首先将您将在“select”子句中使用的所有列放入一个临时表中。然后你至少需要一列,说“合格的tinyint not null default 1”。您将首先在此表中插入原始数据,使用“尽可能简单的查询”,其想法是使其快速,即使表中的某些行不适合您的初始“where”子句。在此之后,您可以通过更新临时表来消除它们,并在适当的地方设置“eligible=0”。您的查询太复杂了,我无法理解,但我稍后会试一试
  • 我已经开始更仔细地研究您的查询,在我看来,可能会进行一些更改并保留逻辑。它可能有助于更好地理解。例如,你有像“case when a then b else 1 end”这样的结构,这等于(不是a)或b。如果您可以在小型数据库上验证结果,我想先用一些更改重写您的查询。它不会更快,但它会帮助我提出更好的方法。
【解决方案3】:

把这段代码从后面拿出来拍。

然后重新开始。

我并没有轻率,但这太可怕了,如果你现在就摆脱它,你会为自己和将来接触它的任何人带来很大的帮助。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2011-11-25
    • 1970-01-01
    • 1970-01-01
    • 2012-04-20
    • 1970-01-01
    • 2021-02-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多