plinq 在大型列表上花费大量时间

Question

我有两个在内存列表中播放，消费者一个有 1500 万个对象，另一个大约 300 万个。

以下是我提出的一些查询..

consumersn=consumers.AsParallel()
                    .Where(w => plays.Any(x => x.consumerid == w.consumerid))
                    .ToList();


List<string> consumerids = plays.AsParallel()
                                .Where(w => w.playyear == group_period.year 
                                         && w.playmonth == group_period.month 
                                         && w.sixteentile == group_period.group)
                                .Select(c => c.consumerid)
                                .ToList();


int groupcount = plays.AsParallel()
                      .Where(w => w.playyear == period.playyear 
                               && w.playmonth == period.playmonth 
                               && w.sixteentile == group 
                               && consumerids.Any(x => x == w.consumerid))
                      .Count();

我使用的是 16 核机器和 32 GB RAM，尽管如此..第一个查询需要大约 20 个小时才能运行..

我是不是做错了什么..

真诚感谢所有帮助。

谢谢

Answer 1

第一个 LINQ 查询效率很低，并行化只能帮到你这么多。

解释：当您编写consumers.Where(w => plays.Any(x => x.consumerid == w.consumerid)) 时，这意味着对于consumer 中的每个对象，您可能会遍历整个plays 列表以查找受影响的消费者。因此，最多 300 万消费者乘以 1500 万次播放 = 45 万亿次操作。即使跨 16 个内核，每个内核也有大约 2.8 万亿次操作。

因此，这里的第一步是按照消费者 ID 对所有播放进行分组，并将结果缓存在适当的数据结构中：

var playsByConsumerIds = plays.ToLookup(x => x.consumerid, StringComparer.Ordinal);

那么，你的第一个请求就变成了：

consumersn = consumers.Where(w => playsByConsumerIds.Contains(w.consumerid)).ToList();

这个查询应该更快，即使没有任何并行化。

我无法修复以下查询，因为我看不到您使用 group_period 所做的确切操作，但我建议使用 GroupBy 或 ToLookup 一次性创建所有组。

Answer 2

第一个查询需要 20 个小时才能运行，因为每次 consumerid 不存在时，plays.Any(x => x.consumerid == w.consumerid) 需要遍历 15,000,000 次播放的整个列表。

您可以通过在plays 中构造一个包含所有消费者 ID 的哈希集来加快速度，如下所示：

var consumerIdsInPlays = new HashSet<string>(plays.Select(p => p.consumerid));

现在可以重写您的第一个查询以进行 O(1) 查找：

consumersn=consumers
    .AsParallel()
    .Where(w => consumerIdsInPlays.Contains(w.consumerid))
    .ToList();