Linq to Entity Query 执行时间超过 2 分钟

Question

我正在尝试使用 LINQ to Entity 执行以下查询，但遇到了性能问题。结果返回大约需要 2-3 分钟。我需要关于如何提高这些查询的性能的建议

这是我用来计算特定日期之间订单总数的方法。数据在此处分为两个表。我需要从一个表中获取交易编号，然后使用这些交易提取订单并将它们汇总，但是对于某些条件来说查询太慢了，因为我在第一个查询中返回了大约 10k+ 条记录。

public int GetOrderQuantity(List<int> TransactionNumbers, DateTime FromDate, DateTime ToDate)
{
    List<int> transactions = _context.RP_PART_TRANSACTIONS.Where(trd => TransactionNumbers.Contains(trd.TRANSACTION_NUMBER) && trd.TRANSACTION_DATE >= FromDate && trd.TRANSACTION_DATE <= ToDate).Select(tr => tr.TRANSACTION_NUMBER).ToList();

    return _context.RP_PART_TRANSACTION_DETAILS.Where(trd => transactions.Contains(trd.TRANSACTION_NUMBER)).Select(tr => tr.PART_QTY).ToList().Sum();
}

Answer 1

这段代码至少有两个问题

List<int> transactions = _context.RP_PART_TRANSACTIONS.Where(trd => TransactionNumbers.Contains(trd.TRANSACTION_NUMBER) && trd.TRANSACTION_DATE >= FromDate && trd.TRANSACTION_DATE <= ToDate).Select(tr => tr.TRANSACTION_NUMBER).ToList();

return _context.RP_PART_TRANSACTION_DETAILS.Where(trd => transactions.Contains(trd.TRANSACTION_NUMBER)).Select(tr => tr.PART_QTY).ToList().Sum();

首先，您使用两个查询，这两个查询可以使用join 运算符合并为一个。考虑到第一个查询可以返回很多记录（如您提到的 10K+），并且在数据库端无法有效处理查询中的内存中 Contains，这可能会给您很大的进步。

其次，在后面的查询中首先使用ToList()，然后是Sum，这需要从数据库中读取所有记录并将它们汇总到内存中。让数据库做总和会非常有效。

话虽如此，还是值得尝试以下方法

var result =
    (from td in _context.RP_PART_TRANSACTION_DETAILS
     join t in _context.RP_PART_TRANSACTIONS
         on td.TRANSACTION_NUMBER equals t.TRANSACTION_NUMBER
     where TransactionNumbers.Contains(t.TRANSACTION_NUMBER)
         && t.TRANSACTION_DATE >= FromDate && t.TRANSACTION_DATE <= ToDate
     select td.PART_QTY)
    .Sum();

更新：从 cmets 注意到您的 TransactionNumbers 包含约 16K 项。 EF 会将TransactionNumbers.Contains(t.TRANSACTION_NUMBER) 部分转换为SQL t.TRANSACTION_NUMBER IN (...) 子句，在IN 子句中列出16K 个数字，这将导致Oracle CBO 选择全表扫描而不是索引扫描。您可以尝试通过像这样包含列表的下限和上限来强制索引范围扫描

var minNumber = TransactionNumbers.Min();
var maxNumber = TransactionNumbers.Max();
var result =
    (from td in _context.RP_PART_TRANSACTION_DETAILS
     join t in _context.RP_PART_TRANSACTIONS
         on td.TRANSACTION_NUMBER equals t.TRANSACTION_NUMBER
     where t.TRANSACTION_NUMBER >= minNumber && t.TRANSACTION_NUMBER <= maxNumber
         && TransactionNumbers.Contains(t.TRANSACTION_NUMBER)
         && t.TRANSACTION_DATE >= FromDate && t.TRANSACTION_DATE <= ToDate
     select td.PART_QTY)
    .Sum();

如果仍然很慢，我能想到的最后一件事是尝试在数据库中进行尽可能多的过滤/聚合（w/o TransactionNumbers 过滤器），然后在内存中进行最终的过滤/聚合，就像这样

var query =
    from td in _context.RP_PART_TRANSACTION_DETAILS
    join t in _context.RP_PART_TRANSACTIONS
        on td.TRANSACTION_NUMBER equals t.TRANSACTION_NUMBER
    where t.TRANSACTION_DATE >= FromDate && t.TRANSACTION_DATE <= ToDate
    group td by t.TRANSACTION_NUMBER into g
    select new { TRANSACTION_NUMBER = g.Key, PART_QTY = g.Sum(td => td.PART_QTY) };

var filter = new HashSet<int>(TransactionNumbers); // For efficient lookup

var result = query.AsEnumerable() // Important! Switch to in memory context
    .Where(td => filter.Contains(td.TRANSACTION_NUMBER))
    .Sum(td => td.PART_QTY);