SQL WHERE IN() 性能优化

Question

我检查了几个问题是否重复，但我找不到一个。我正在处理三个表，第一个“articles”，第二个“tags”，第三个“article_tags”，其中包含两个外键“articleid”和“tagid”。 “article_tags”表将共享相同标签的文章关联在一起。

我的SQL查询如下：

'Getting 4 tag ids from table article_tags
MyCommand = New SqlCommand("SELECT TOP (4) at.tagid FROM articles a, article_tags at WHERE at.articleid=a.id AND at.articleid=@id", myconnection)
MyCommand.Parameters.Add("@id", SqlDbType.Int).Value = intID
Dim daQuery = New SqlDataAdapter(MyCommand)
Dim dtArticleTags = New DataTable
daQuery.Fill(dtArticleTags)
Dim strTagIds As String = ""
If dtArticleTags.Rows.Count > 0 Then
    'Save all tags id's in a string "strTags"
    '--------------------------------------------- 
    Dim i As Integer = 0
    For Each myrow As DataRow In dtArticleTags.Rows
        'Store the Tag Ids in a string
        strTagIds += myrow.Item("tagid").ToString
        If i <> dtArticleTags.Rows.Count - 1 Then
            strTagIds += ","
        End If
        i += 1
    Next
    '--------------------------------------------- 
    'Getting 5 related articles sharing the same tags (Note: I know that strTagIds is not parametrized but this can never be inputted by a user)
    MyCommand = New SqlCommand("SELECT TOP(5) at.articleid FROM article_tags at, articles a WHERE a.id=at.articleid AND a.publish_flag=1 AND SYSDATETIME() > DATEADD(mi, DATEDIFF(mi, GETUTCDATE(), SYSDATETIME()), a.publish_date) AND at.tagid IN (" & strTagIds & ") AND at.articleid<>@id Group by at.articleid, a.publish_date ORDER BY a.publish_date DESC", myconnection)
    MyCommand.Parameters.Add("@id", SqlDbType.Int).Value = intID
    daRelated = New SqlDataAdapter(MyCommand)
    daRelated.Fill(dsArticle, "related")
End If

我觉得上面的查询需要时间来加载，尤其是“article_tags”表越来越大。我正在使用 SQL Express Edition，并且表已编入索引，我想知道这是否可以以更好的方式完成以提高性能。

附上执行计划：

按照@SuperPoney 的建议运行以下查询，返回相同的结果，以下是执行计划：

WITH top_art AS
(
    SELECT TOP (4) at.tagid
    FROM articles a, article_tags at
    WHERE at.articleid=a.id
    AND at.articleid=@id
)
SELECT TOP(5) at.articleid
FROM article_tags at, articles a, top_art
WHERE a.id=at.articleid
AND a.publish_flag=1
AND SYSDATETIME() > DATEADD(mi, DATEDIFF(mi, GETUTCDATE(), SYSDATETIME()), a.publish_date)
AND at.tagid=top_art.tag_id
AND at.articleid<>@id
Group by at.articleid, a.publish_date
ORDER BY a.publish_date DESC

Answer 1

您可以在一个查询中获得所需的一切：

SELECT  TOP (5) a.ID
FROM    article AS a
WHERE   a.publish_flag = 1 
AND     a.publish_date <  DATEADD(mi, DATEDIFF(mi, GETUTCDATE(), SYSDATETIME()), SYSDATETIME())
AND     a.Id <> @ID 
AND     EXISTS 
        (   SELECT  1
            FROM    article_tags AS at
            WHERE   at.ArticleID = a.ID
            AND     EXISTS  
                    (   SELECT  1 
                        FROM    article_tags AS at2
                        WHERE   at2.ArticleID = @ID
                        AND     at2.TagID = at.TagID
                    )
        )
ORDER BY a.publish_date DESC;
                    

我假设您最初出于性能原因使用TOP 4 作为标签的任意限制，因为没有排序。所以省略了这一点。我还更改了您的谓词：

SYSDATETIME() > DATEADD(mi, DATEDIFF(mi, GETUTCDATE(), SYSDATETIME()), a.publish_date)

到

a.publish_date <  DATEADD(mi, DATEDIFF(mi, GETUTCDATE(), SYSDATETIME()), SYSDATETIME())

含义相同，但是通过在运行时常量SYSDATETIME() 和UTCDATETIME() 上调用DATEADD/DATEDIFF 函数，这意味着该计算只进行一次，而不是对每个a.publish_date 进行一次这意味着publish_date 上的任何索引现在都可以使用。

我所做的另一项更改是使用EXISTS 而不是JOIN 将文章链接到标签。这将避免重复，但是使用 GROUP BY 删除重复同样简单，例如

SELECT  TOP (5) a.ID
FROM    article AS a
        INNER JOIN article_tags AS at
            ON at.ArticleID = a.ID
WHERE   a.publish_flag = 1 
AND     a.publish_date <  DATEADD(mi, DATEDIFF(mi, GETUTCDATE(), SYSDATETIME()), SYSDATETIME())
AND     a.Id <> @ID 
AND     EXISTS  
        (   SELECT  1 
            FROM    article_tags AS at2
            WHERE   at2.ArticleID = @ID
            AND     at2.TagID = at.TagID
        )
GROUP BY a.ID, a.publish_date
ORDER BY a.publish_date DESC;

还有一些与上述答案没有直接关系的旁注，但仍然值得一提。

1. 您使用的隐式连接语法在 28 年前被 ANSI 92 显式连接语法取代。有are plenty of good reasons 切换到“新”语法，所以我建议你这样做。
2. 参数化查询不仅仅是 SQL 注入攻击（包括但不限于类型安全和查询计划缓存），所以仅仅因为您的输入不是来自用户并不意味着您不应该使用参数化查询.
3. 我强烈建议不要重复使用您的 SqlClient 对象（SqlConnection、SqlCommand），为每次使用创建一个新对象，并在完成后正确处理它。

Answer 2

我的第一个建议是“让数据库完成工作”。 你能在你的数据库中解析这两个查询的查询计划吗？

也许这会回答你的问题。

查询 #1

SELECT TOP(5) at.articleid
FROM article_tags at, articles a
WHERE a.id=at.articleid
AND a.publish_flag=1
AND SYSDATETIME() > DATEADD(mi, DATEDIFF(mi, GETUTCDATE(), SYSDATETIME()), a.publish_date)
AND at.tagid IN (
    SELECT TOP (4) at.tagid
    FROM articles a, article_tags at
    WHERE at.articleid=a.id
    AND at.articleid=@id
)
AND at.articleid<>@id
Group by at.articleid, a.publish_date
ORDER BY a.publish_date DESC

查询 #2

WITH top_art AS
(
    SELECT TOP (4) at.tagid
    FROM articles a, article_tags at
    WHERE at.articleid=a.id
    AND at.articleid=@id
)
SELECT TOP(5) at.articleid
FROM article_tags at, articles a, top_art
WHERE a.id=at.articleid
AND a.publish_flag=1
AND SYSDATETIME() > DATEADD(mi, DATEDIFF(mi, GETUTCDATE(), SYSDATETIME()), a.publish_date)
AND at.tagid=top_art.tagid
AND at.articleid<>@id
Group by at.articleid, a.publish_date
ORDER BY a.publish_date DESC