在查询中使用 EXCEPT 时的 SQL Server 性能问题

Question

一般来说，我有一个 SELECT 查询与三个独立的 SELECT 查询相结合。我在查询中使用 EXCEPT 和 UNION 运算符。当独立执行查询时，我会在 1-2 秒内收到结果，但是当有 EXCEPT 运算符时，查询将需要几个小时。

查询结构（简化）如下：

SELECT DISTINCT FIELD_1, FIELD_2, FIELD_3 FROM MYTABLE

EXCEPT

(
SELECT DISTINCT FIELD_1, FIELD_2, FIELD_3 FROM MYTABLE WHERE XXX

UNION

SELECT DISTINCT FIELD_1, FIELD_2, FIELD_3 FROM MYTABLE WHERE YYY
)

是否有任何方法可以加快整个查询的速度，或者 EXCEPT 运算符一般来说太慢以至于应该避免使用？

Answer 1

您可以通过GROUP BY 做到这一点

SELECT FIELD_1, FIELD_2, FIELD_3 
FROM MYTABLE
GROUP BY FIELD_1, FIELD_2, FIELD_3 
HAVING MAX(CASE WHEN (XXX) OR (YYY) THEN 1 ELSE 0 END) = 0

Answer 2

我会用NOT EXISTS 代替CTE：

WITH CTE AS (
     <your union query>
)
SELECT mt.*
FROM MYTABLE mt
WHERE NOT EXISTS (SELECT 1 FROM CTE c WHERE c.FIELD_1 = mt.FIELD_1 AND . . . );   

Answer 3

首先我不会将字段用于除，最好使用 Id，因为它是可索引的

下面的采石场会有更快的性能。

这就是我的做法。

SELECT DISTINCT FIELD_1, FIELD_2, FIELD_3 FROM MYTABLE
where Id not in (
SELECT Id FROM MYTABLE WHERE XXX and YYY
)

Answer 4

有时通过将工作负载拆分为多个步骤来简化查询优化器的任务是有益的。特别是如果执行可能需要几个小时：

-- Step 1
SELECT FIELD_1, FIELD_2, FIELD_3 INTO #Step1 FROM
(
SELECT FIELD_1, FIELD_2, FIELD_3 FROM MYTABLE WHERE XXX    
UNION  
SELECT FIELD_1, FIELD_2, FIELD_3 FROM MYTABLE WHERE YYY
) d

-- Step 2:
SELECT DISTINCT FIELD_1, FIELD_2, FIELD_3 FROM MYTABLE    
EXCEPT    
SELECT FIELD_1, FIELD_2, FIELD_3  FROM #Step1

请注意，删除了一些 DISTINCT 子句

---

更新，版本 3。 基于 OP 的上次更新：

Tab：是同一张表。第一个查询基本上给出了几乎 整个表和第二个 + 第三个查询是我需要的子集 带走第一个查询结果

我相信整个查询可以重写为：

SELECT DISTINCT FIELD_1, FIELD_2, FIELD_3 FROM MYTABLE ext
WHERE NOT EXISTS (

SELECT * FROM (
    SELECT FIELD_1, FIELD_2, FIELD_3 FROM MYTABLE  
    WHERE  ( (XXX) OR (YYY))  -- original filter
)   list 
WHERE
    list.FIELD_1 = ext.FIELD_1
AND list.FIELD_2 = ext.FIELD_2
AND list.FIELD_3 = ext.FIELD_3
)