Linq：在列表中的列表上分组

Question

假设我有一个列表列表。 对于此列表中的每个项目，我都有一个自定义对象列表。

这些对象是这样的：

public string Field1
public string Field2
public string Field3

我想通过 Linq 实现的目标：从我的列表列表中过滤出所有具有相同三个字段的对象，这些字段不是其列表的第一个元素，并且只保留第一个。

假设我的列表中有两个列表 listA 和列表 B。

listA 包含三个对象 object1、object2 和 object3。

object1.Field1 = "a"    object1.Field2 = "A"    object1.Field3 = "1"  
object2.Field1 = "a"    object2.Field2 = "B"    object2.Field3 = "2"  
object3.Field1 = "a"    object3.Field2 = "C"    object3.Field3 = "3"  

listB 包含三个对象 object4、object5 和 object6。

object4.Field1 = "a"    object4.Field2 = "A"    object4.Field3 = "1"  
object5.Field1 = "a"    object5.Field2 = "B"    object5.Field3 = "2"  
object6.Field1 = "a"    object6.Field2 = "D"    object6.Field3 = "3" 

在这个例子中，object1 和 object4 是相同的，但是因为它们在各自的列表中排在第一位，所以没有被过滤掉。 但是，object2 和 object5 具有相同的三个字段值，只保留其中一个，以便在我的流程结束时，我将拥有两个列表，如下所示：

listA 包含三个对象 object1、object2 和 object3。

object1.Field1 = "a"    object1.Field2 = "A"    object1.Field3 = "1"  
object2.Field1 = "a"    object2.Field2 = "B"    object2.Field3 = "2"  
object3.Field1 = "a"    object3.Field2 = "C"    object3.Field3 = "3"

listB 现在有两个对象 object4 和 object6。

object4.Field1 = "a"    object4.Field2 = "A"    object4.Field3 = "1"  
object6.Field1 = "a"    object6.Field2 = "D"    object6.Field3 = "3" 

我为此苦苦思索了好几个小时，但无济于事。我不能对所有其他列表进行 foreach 列表查看，因为这会导致性能问题（我可能有 1000000 个列表列表）。

有人对此有想法吗？

Answer 1

为什么必须是 LINQ？一个简单的迭代器块很好地解决了这个问题。

下面的代码假定您已在对象中覆盖 Equals 和 GetHashCode 以检查 3 个字段的相等性。如果这不可能，请改用自定义相等比较器（在 HashSet 构造函数中传递）

static IEnumerable<List<T>> GetFilteredList<T>(IEnumerable<List<T>> input)
{
    var found = new HashSet<T>();

    foreach (var list in input)
    {
        var returnList = new List<T>(list.Capacity);
        foreach (var item in list)
        {
            // the first item is always added
            // any other items are only added if they were 
            // never encountered before
            if (list.Count == 0 || !found.Contains(item))
            {
                found.Add(item);
                returnList.Add(item);
            }
        }
        yield return returnList;
    }
}

如果您可以坚持使用IEnumerable<IEnumerable<T>> 作为返回值，另一种只扫描输入一次的方法可能是这样的（不创建中间列表）：

static IEnumerable<IEnumerable<T>> GetFilteredList<T>(IEnumerable<List<T>> input)
{
    var encounteredElements = new HashSet<T>();

    foreach (var list in input)
    {
        yield return Process(list, encounteredElements);
    }
}

static IEnumerable<T> Process<T>(IEnumerable<T> input, 
                                 HashSet<T> encounteredElements)
{
    bool first = true;
    foreach (var item in input)
    {
        if (first) yield return item;
        if (!encounteredElements.Contains(item))
        {
            yield return item;
        }
        encounteredElements.Add(item);
        first = false;
    }
}