极长的“不在”请求

Question

我有两张桌子：

1. “Sessions” - 它具有 int 密钥标识，“session_id” - varchar, "device_category" - varchar 和其他一些列。 共有 149239 行。

2. Session_events" - 它有 int 键 身份，“session_id” - 唯一标识符和其他一些字段。 那里有 3140768 行。

这个表是从非关系型数据库 Cassandra 导入的，所以我没有在 MS SQL Server 设计器中创建任何连接。但是 session_id 列上的 Sessions 和 Session_events 之间的真正连接是多对多

现在我想删除所有未在个人计算机“device_category”上进行的网络会话。所以我运行请求Delete * FROM sessions where device_category != "PC" 那很快。现在我想从 Session_events 表中删除所有非 PC 会话。所以我运行请求

Delete FROM session_events where session_id Not In (SELECT distinct session_id FROM sessions)

该请求当前运行超过 24 小时，我不知道需要多长时间...

（我有 16 GB 内存和 Intel Xenon）。

我知道 Left Join 可以更快，但 20% 并不有趣。你知道如何更快地完成我的任务吗？

----
CREATE TABLE [dbo].[session_events](
    [key] [bigint] IDENTITY(1,1) NOT NULL,
    [session_id] [uniqueidentifier](max) NULL,
    [visitor_id] [uniqueidentifier] NULL,
    [shipping_method] [varchar](max) NULL,
    [shipping_price] [varchar](max) NULL,
    [site_id] [int] NULL,
    [stream_data_chunk] [varbinary](max) NULL,
    [total] [varchar](max) NULL,
    [total_inc_tax] [varchar](max) NULL,
    [tracker_ver] [varchar](max) NULL
) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]

---

CREATE TABLE [dbo].[visitor_sessions](
    [key] [int] IDENTITY(1,1) NOT NULL,
    [visitor_id] [varchar](max) NULL,
    [created] [varchar](max) NULL,
    [session_id] [varchar](max) NULL
)

 CONSTRAINT [PK_visitor_sessions4] PRIMARY KEY CLUSTERED 
(
    [key] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
) ON [PRIMARY] TEXTIMAGE_ON [PRIMARY]

GO

SET ANSI_PADDING OFF
GO

Answer 1

一次删除大量数据意味着数据库引擎必须在单个事务中完成所有这些操作。当您实际上不需要它时，这意味着巨大的开销（例如，您不需要回滚整个操作，或者您不关心一致性 - 您只想删除所有内容，如果它在中间失败，您'将再次运行查询以删除其余部分）。

对于您的情况，您可以尝试批量删除。例如：

delete top 1000 from session_events where session_id Not In (SELECT distinct session_id FROM sessions)

重复直到表格为空。

另外，你是从错误的角度开始的。您最好先在两者之间创建一个外键，然后使用“on delete cascade”。这将自动删除所有不再具有有效session 的session_events。如果您可以重新开始，它可能会明显更快。不过没有承诺：D

Answer 2

为什么不使用左连接？另一种选择是使用 EXISTS 而不是 IN：

DELETE FROM Session_events
WHERE NOT EXISTS(
    SELECT 1
    FROM Session 
    WHERE Session.Session_Id = Session_events.Session_Id
)

Answer 3

有时删除的问题是它正在等待获取所有相关行的锁。尝试循环删除。

DECLARE @MyCursor CURSOR;
DECLARE @MyField YourFieldDataType;//replace with the data type of session_id
BEGIN
    SET @MyCursor = CURSOR FOR
    select session_id from session_events minus select session_id from sessions
    OPEN @MyCursor 
    FETCH NEXT FROM @MyCursor 
    INTO @MyField
    WHILE @@FETCH_STATUS = 0
    BEGIN
        delete session_events where session_id = @MyField
        FETCH NEXT FROM @MyCursor 
        INTO @MyField 
    END;
    CLOSE @MyCursor ;
    DEALLOCATE @MyCursor;
END;

您也可以尝试将not in 重写为in：

delete from session_events where session_id in (select session_id from session_events minus select session_id from sessions)

Answer 4

1. 检查session_event中是否有索引？如果有，则禁用它
2. 使用 NOT EXISTS 而不是 NOT IN，因为 EXISTS 的性能比其他更好（@Zohar Peled 写它的查询）
3. 如果未解决，则单独运行您的 select 查询并查看执行计划以了解您在执行 Select 时将要执行的操作。

Answer 5

试试这个代码

delete e
from session_events e 
left join sessions s (nolock)
    on e.session_id = s.session_id
where s.session_id is null