将新记录插入特定表时出现死锁

Question

我有一个每 7 天运行一次的后台任务（由 IHostedService 启动），该任务将数据复制到同一个表中，仅更改 PK 以生成虚拟数据（用于演示）。

问题在于，当它尝试为第二个表保存新数据（大约 2k 条新记录）时，实体框架永远不会完成 SaveChangesAsync，此过程被阻止并开始消耗整个可用 RAM。

注意：第一个表有时会复制超过 2 万条新记录。

这是我当前的代码，我正在使用 Entity Framework Core 5.0.4 和 .NET Core 3.1：

using (var context = _context.CreateNewInstance())
{
    var existingStudents = context.Students.Where(s => s.UniversityId == _destUniversity.Id);
    var sourceStudents = context.Students.Where(s => s.UniversityId == _sourceUniversity.Id)
                                         .Select(s => new Student()
                                         {
                                             //...properties
                                         });

    var newStudents = sourceStudents.Where(s => !existingStudents.Any(es => es.DiffKey == s.DiffKey)).ToArray();

    if (newStudents.Length == 0)
    {
        return;
    }

    await context.Students.AddRangeAsync(newStudents);
    await context.SaveChangesAsync(_cancellationToken.Token);
}

我已经尝试了所有这些：

1. Disabling "Auto Detect Changes"
2. Batch insert：这只适用于第一批。
3. Use IEnumerable instead of IQueryable
4. 任务中所有表的单一上下文
5. 每个表的新上下文实例
6. 比较数据库/表的配置并复制到本地

我有 2 个服务器（1 个本地，1 个远程）和 3 个数据库（1 个本地，2 个远程），代码适用于三个数据库中的两个（1 个本地和 1 个远程）。

我使用这段代码在 SQL 上获取任务的spid：

int psid;

using (var command = contextTmp.Database.GetDbConnection().CreateCommand())
{
    command.CommandText = "select @@spid as id";
    contextTmp.Database.OpenConnection();

    using (var result = command.ExecuteReader())
    {
        result.Read();
        psid = result.GetInt16("id");
    }

    contextTmp.Database.CloseConnection();
}

使用之前代码中的spid，我监控了SQL Server 端的请求以检查其状态：

select session_id, 
    status, 
    command,
    blocking_session_id,
    wait_type, 
    wait_time,
    last_wait_type,
    wait_resource
from sys.dm_exec_requests 
where session_id = @id

结果：

session_id	status	command	blocking_session_id	wait_type	wait_time	last_wait_type	wait_resource
84	suspended	SELECT	0	ASYNC_NETWORK_IO	35	ASYNC_NETWORK_IO

我已经阅读了有关此问题的博客，但我还不明白，我想我错过了一些东西。我没有主意了。

其他来源：

• DBA stackexchange
• Understanding how SQL Server executes a query
• SQL Server ASYNC Network IO Wait Type
• Database Connection Hazards with Entity Framework

更新(1)：

在我们从 .NET Core 2.2 更新到 3.1 之前，所有功能都运行良好。升级后我们开始看到奇怪的行为。

有什么建议吗？

Answer 1

Entity Framework 不擅长批量插入东西。如果一个实体有一个自动生成的主键，那么在每次插入之后，EF 都会查询数据库以获取条目的 id。这意味着对于每条 20K 记录，您必须等待数据库的往返时间。这就是为什么当您致电 SaveChanges() 时一切似乎都停止工作的原因 - 它仍在运行，但需要很长时间。有几种方法可以解决这个问题：

• 更改要由客户端生成的 id
• 使用 EntityFrameworkPlus 之类的扩展库来执行批量插入
• 使用 SqlBulkCopy 代替实体框架
• 使用存储过程

Answer 2

理想情况下，您的查询不需要将数据传输到客户端，只需 INSERT FROM。 我建议使用第三方扩展linq2db.EntityFrameworkCore（免责声明，我是创作者之一）

然后您的查询将几乎立即在服务器端执行：

using (var context = _context.CreateNewInstance())
{
    var existingStudents = context.Students.Where(s => s.UniversityId == _destUniversity.Id);
    var sourceStudents = context.Students.Where(s => s.UniversityId == _sourceUniversity.Id)
                                         .Select(s => new Student()
                                         {
                                             //...properties
                                         });

    var newStudents = sourceStudents.Where(s => !existingStudents.Any(es => es.DiffKey == s.DiffKey));

    await newStudents.InsertAsync(context.Students.ToLinqToDBTable(), x => x, _cancellationToken.Token);
}