如何优化下面的 linq 查询

Question

我在 vb.net 中有以下 Linq 查询，3000 条记录需要 2-3 分钟。我想优化它。请给我建议

Dim sessionsEligibleForDeletion As List(Of Integer) = Nothing

以下查询需要很长时间。

sessionsEligibleForDeletion = 
    (From row In dt.AsEnumerable()
        Group row By sessionID = row.Field(Of Int32)("sessionID") Into SessionGroup = Group
        Select New With 
        {
            sessionID,
            .eligibleForDeletion = SessionGroup.Count(Function(r) r.Field(Of Int32)("sessionID")) > totalCriterias - 1
        }).
            Where(Function(rr) rr.eligibleForDeletion = True).
            Select(Function(rr) rr.sessionID).ToList()

Answer 1

所以dt 是DataTable，首先使用AsEnumerable 而不是DataTable.Select，它会返回一个新的DataRow()，其中包含所有行以节省内存。

更重要的是，您从表中选择所有reportNo，然后选择此列表中具有reportNo 的所有行。这是所有行，因为您使用的是相同的源。所以前两个查询已经毫无意义。

此外，您将按SessionID 将所有行分组到一个名为SessionGroup 的组中，这些组包含DataRows 并且每一行都具有相同的SessionID，因为您已按该列进行了分组。这就是为什么我不理解SessionGroup.Count(...sessionID)。无论如何，将Option Strict 设置为On 将无法编译，因为Enumerable.Count 采用布尔谓词而不是整数。也许你只是想使用SessionGroup.Count() > totalCriterias - 1，所以没有谓词。

现在谈谈您的实际性能问题。您想查找所有出现次数超过totalCriterias - 1 的SessionID？那么这个使用HashSet(Of Int32)和Dictionary(Of int32, Int32)的简单循环会更有效，只需要一个枚举：

Dim sessionsEligibleForDeletion As New HashSet(Of Integer)
Dim sessionIdCount As New Dictionary(Of Int32, Int32)
For Each row As DataRow In dt.Rows
    Dim sessionID = row.Field(Of Int32)("sessionID")
    Dim count As Int32
    sessionIdCount.TryGetValue(sessionID, count)
    count += 1
    sessionIdCount(sessionID) = count
    If count > totalCriterias - 1 Then sessionsEligibleForDeletion.Add(sessionID)
Next

如果您需要哈希集中的List(Of Int32)，请使用sessionsEligibleForDeletion.ToList()。

如果你坚持使用 LINQ 查询，你可以使用这个：

Dim sessionsEligibleForDeletion As List(Of Int32) = dt.AsEnumerable().
    GroupBy(Function(row) row.Field(Of Int32)("sessionID")).
    Where(Function(grp) grp.Count() > totalCriterias - 1).
    Select(Function(grp) grp.Key).
    ToList()