管理大量收藏的好方法

Question

我试图想出一种快速有效的方法来处理大量相同的结构类型的项目，其中数组可以随着时间的推移而增长，并在条件合适时快速并有选择地删除项目。

应用程序将以相对较快的速度传入大量数据，我需要快速分析它，更新一些 UI 信息，并删除旧数据点以为新数据点腾出空间。与其他数据相比，我需要更长时间地保留某些感兴趣的数据点。

数据负载包含 2 个整数，代表物理频谱数据：频率、功率等。“老化”只是一些元数据，我将使用这些元数据来确定何时是淘汰旧的好时机数据。

我认为使用 LinkedList 将是一个不错的选择，因为它可以轻松地从集合中间删除项目，但我需要能够执行以下伪代码：

for(int i = 0; i < myCollection.Length; i++)
{
    myCollection[i].AgeOutVal--;

    if(myCollection[i].AgeOutVal == 0)
    {
       myCollection.Remove(i);
       i--;
    }
}

但是我收到编译器错误，表明我不能使用这样的集合。有什么好的/快速的方法来做到这一点？

Answer 1

我建议您首先对程序进行一些认真的性能分析。每秒处理一百万个项目只会给每个项目留下几千个周期，这当然是可行的。但是有了这种性能目标，您的性能将受到数据局部性和由此产生的缓存未命中等因素的严重影响。

其次，我建议您将“这个东西是否需要从队列中删除”的关注与对象本身所代表的任何关注分开。

第三，你不说“年龄”字段能有多大，只是说它在倒计时。每次通过循环改变整个集合只是为了找到要删除的集合似乎效率低下。一些想法：

• 假设“年龄”从十倒数到零。与其创建一个集合并且集合中的每个项目都有一个年龄，不如创建 10 个集合，一个用于将超时的事物，一个用于将超时的事物，以此类推。每打勾，您丢弃“一次超时”集合，然后“两次超时”集合变成“一次超时”集合，依此类推.每次通过循环时，您只需移动少量的集合引用，而不是改变大量的项目。

• 为什么“年龄”在倒计时？时间在增加。根据创建时间标记每个项目，并且永远不要更改它。使用队列，因此您可以在一端插入新项目并从另一端删除它们。因此，队列将按年龄排序。每次滴答，都会将太旧的项目出列，直到您到达不太旧的项目。如其他地方所述，队列的循环缓冲区实现可能是有效的。