重构 GroupBy 以避免在大数据集上减慢操作

Question

我有一个大集合，我需要根据两个属性获取最新项目。 第一步是根据 date 属性对列表进行排序。这一切都很好而且很快。

然后我按两个属性对新列表进行分组，并从每个属性中取出第一项。

var one = Fisks.Where(s=>s.Havn.Id == 1).OrderByDescending(s=>s.Date);
var two = one.GroupBy(s=>new {s.Arter.Name, s.Sort});
var three = two.Select(s=>s.FirstOrDefault());

这可行，但是在大型集合上使用它时确实很慢。如何避免使用 groupBy 但仍然得到相同的结果？

谢谢！

Answer 1

仅将 LINQ 用于第一步，然后在循环中执行第一个步骤，可以让您更好地控制流程并完全避免分组：

var query = Fisks
    .Where(f => f.Havn.Id == 1)
    .OrderByDescending(f => f.Date)
    .ThenBy(f => f.Arter.Name)
    .ThenBy(f => f.Sort);
var list = new List<Fisk>();
foreach (Fisk fisk in query) {
    if (list.Count == 0) {
        list.Add(fisk);
    } else {
        Fisk last = list[list.Count - 1];
        if (fisk.Sort != last.Sort || fisk.Arter.Name != last.Arter.Name) {
            list.Add(fisk);
        }
    }
}

Answer 2

一般来说，我建议不要在做一些可能会破坏该顺序的事情之前进行排序（例如 GroupBy 可以在 SQL 中执行，由 LINQ2SQL 生成）。也尝试只订购你将要使用的东西。如果您仅限制选择所需的字段/属性，则可以提高查询性能。你可以摆弄这个sample 并改用你的 real 后端：

var Fisks=new[]{
    new {Havn=new{Id=1},Date=DateTime.MinValue,Arter=new{Name="A"},Sort=1,Title="A1"},
    new {Havn=new{Id=1},Date=DateTime.MinValue.AddDays(1),Arter=new{Name="A"},Sort=1,Title="A2"},
    new {Havn=new{Id=1},Date=DateTime.MinValue,Arter=new{Name="B"},Sort=1,Title="B1",},
    new {Havn=new{Id=1},Date=DateTime.MinValue.AddDays(2),Arter=new{Name="B"},Sort=1,Title="B2",},
    new {Havn=new{Id=1},Date=DateTime.MinValue.AddDays(2),Arter=new{Name="B"},Sort=1,Title="B3",},
};
var stopwatch=Stopwatch.StartNew();
var one = Fisks.Where(s=>s.Havn.Id == 1).OrderByDescending(s=>s.Date);
var two = one.GroupBy(s=>new {s.Arter.Name, s.Sort});
var three = two.Select(s=>s.FirstOrDefault());
var answer=three.ToArray();
stopwatch.Stop();
stopwatch.ElapsedTicks.Dump("elapsed Ticks");
answer.Dump();

stopwatch.Restart();
answer=Fisks
.Where(f=>f.Havn.Id.Equals(1))
.GroupBy(s=>new {s.Arter.Name, s.Sort},(k,g)=>new{
    s=g.OrderByDescending(s=>s.Date).First()//TOP 1 -> quite fast
})
.Select(g=>g.s)
.OrderByDescending(s=>s.Date) // only fully order results
.ToArray();
stopwatch.Stop();
stopwatch.ElapsedTicks.Dump("elapsed Ticks");
answer.Dump();

如果您使用任何 SQL Server，您应该在 LINQPad 中检查生成的 SQL。您不想以n+1 Query 结尾。在Havn.Id 和Fisks.Date 上建立索引也可能会有所帮助。