如何有效地从（最初）大型对象列表中过滤对象

Question

我需要将大量复杂（20 多个属性）对象过滤到多个子列表中。要创建子列表，我有一个过滤器规范列表。要求是：a) 一个项目不允许成为两个子列表的一部分，并且 b) 必须能够在处理完成后获取所有未划分的项目。

目前我使用以下算法：

1. 列表项
2. 将要过滤的对象放入通用列表中
3. 对于每个过滤器规格：
   • 创建 Where 表达式 (Expression>)
   • 使用 Linq > Where 将表达式应用于对象列表
   • 获取选定对象的结果 IEnumerable 并将它们与过滤器的描述一起存储在列表中
   • 使用 Linq 从源列表中删除找到的项目 > 除了创建一个新列表以继续使用并防止将对象放入多个子列表中
4. 检查工作列表中是否还有（未分割的）对象

我的初始对象列表可能超过 400.000 个对象，我注意到过滤和减少工作列表都需要一些时间。所以我想知道：

1. 创建子列表的过滤发生在我的对象的最多 7 个属性上。有没有办法提高 Linq > Where 选择的性能？
2. 有没有办法防止项目被选择到多个子列表中，而不会通过使用 except 或 RemoveAll 减少工作集合（可能的改进）？

提前致谢！

Answer 1

如果您无法利用您尝试分类的传入列表中的任何索引，那么您最好只遍历整个列表一次并在进行时对项目进行分类。这样可以避免不必要的 remove 和 except 操作，这些操作会通过无意义的迭代和相等比较严重损害性能。

我在想一些很长的事情：

public static IDictionary<string, List<T>> Classify<T>(this IEnumerable<T> items, IDictionary<string, Predicate<T>> predicates, out List<T> defaultBucket)
{
    var classifiedItems = new Dictionary<string, List<T>>(predicates.Count);
    defaultBucket = new List<T>();

    foreach (var predicate in predicates)
    {
        classifiedItems.Add(predicate.Key, new List<T>()); 
    }

    foreach (var item in items)
    {
        var matched = false;

        foreach (var predicate in predicates)
        {
            if (predicate.Value(item))
            {
                matched = true;
                classifiedItems[predicate.Key].Add(item);
                break;
            }
        }

        if (!matched)
        {
            defaultBucket.Add(item);
        }
    }

    return classifiedItems;
}

任何给定的predicate 都可以像您需要的那样复杂。唯一的条件是它接受T 并返回bool。如果这还不够，没有什么能阻止您使用您需要的任何签名来实现您自己的MyPredicate<???>。

EDIT：编辑代码以处理“默认存储桶”，其中不符合任何指定谓词的项目。