从 LINQ to Entities 查询中排除大型 List<int>

Question

我有一个包含大量项目的列表 - 最多 10,000 个。

我正在寻找从 IQueryable/List 中排除这些的最有效方法。

由于获取此 Id 列表所涉及的过程很复杂，因此不可能在查询中执行此操作。

下面的示例具有极高的开销，想知道是否有人能够解释其可能的原因以及是否有更好的方法来实现这一点？

results = from q1 in results 
  where excludedRecords.All(x => x != q1.ItemId)
  select q1;

Answer 1

根据您的查询形式，我将excludedRecords 视为整数列表。此外，由于您将 LINQ 标记为实体，因此我将 results 视为 DbSet 在 DbContext 中。

这是将本地列表 (excludedRecords) 与等待转换为 SQL (results) 的 IQueryable 组合起来的问题。为了让 EF 能够将完整的表达式（您的查询）翻译成 SQL，它必须将此本地列表翻译成可以成为 SQL 语句一部分的“某物”。使用 All() 和许多其他基于集合的 LINQ 语句，当加入本地列表时，EF 通过从单行表构建一个临时表（排序）来做到这一点。本地列表中只有 5 个元素，这看起来像

SELECT ...
    FROM [dbo].[Table] AS [Extent1]
    WHERE  EXISTS (SELECT 
        1 AS [C1]
        FROM  (SELECT 
            1 AS [C1]
            FROM  ( SELECT 1 AS X ) AS [SingleRowTable1]
        UNION ALL
            SELECT 
            2 AS [C1]
            FROM  ( SELECT 1 AS X ) AS [SingleRowTable2]
        UNION ALL
            SELECT 
            3 AS [C1]
            FROM  ( SELECT 1 AS X ) AS [SingleRowTable3]
        UNION ALL
            SELECT 
            4 AS [C1]
            FROM  ( SELECT 1 AS X ) AS [SingleRowTable4]
        UNION ALL
            SELECT 
            5 AS [C1]
            FROM  ( SELECT 1 AS X ) AS [SingleRowTable5]) AS [UnionAll4]
        WHERE ([Extent1].[Id] = [UnionAll4].[C1]) OR (CASE WHEN ([Extent1].[Id] <> [UnionAll4].[C1]) THEN cast(1 as bit) WHEN ([Extent1].[Id] = [UnionAll4].[C1]) THEN cast(0 as bit) END IS NULL)
    )

虽然这可能会生成大量 SQL 语句，但当本地列表不包含“太多”元素（比如说，最多 1000 个）时，它仍然是可行的。

让 EF 更有效地使用本地列表的唯一语句是 Contains。 Contains 可以很容易地转换为 SQL IN 语句。如果我们将您的查询改写为 Contains 的等价物，这也是您问题的答案，...

results = from q1 in results 
          where !excludedRecords.Contains(q1.ItemId)
          select q1;

... SQL 查询将如下所示

SELECT ...
    FROM [dbo].[Table] AS [Extent1]
    WHERE  NOT ([Extent1].[Id] IN (1, 2, 3, 4, 5))

IN 语句可以处理比这个“临时表”更多的元素，尽管这个数量仍然有限（可能是 3000）。

Answer 2

这只是代码的一部分，但看起来您有两个列表 - 结果和排除记录。对于结果中的每个元素，您将遍历 excludeRecords 中的所有元素。这就是它慢的原因，它是O(N x M)

Linq 和 sql 通过加入来解决这个问题，如果你加入（或等效的），你应该会看到一些不错的性能，因为这对我来说就像 O(NlgM)

看起来像这样（现在无法测试）

var results2 = from q1 in results
                join x in excludedRecords on q1.LeadID = x into joined
                from z in joined.DefaultIfEmpty()
                where z == null
                select q1;