具有循环附加和切片的可变长度答案

【问题标题】：A mutable of set length with cyclic append and slicing具有循环附加和切片的可变长度
【发布时间】：2018-11-28 17:07:38
【问题描述】：

我有一个列表data_list，它应该一直保持一定长度x。我每隔一定的时间间隔获取新信息，然后执行以下操作

new_info  # type: list
data_list.extend(new_info)
del data_list[:len(new_info)]

但是这非常很慢（我认为 del 部分复制了整个列表）。

此外，在每次循环插入后，我都会对列表进行切片并使用 numpy 执行各种数值计算。这意味着每次，我都会为计算创建一个新的 numpy 数组。

你会推荐什么？如果推荐的数据结构不在标准库中也没关系。

注意：我一开始没有所有的new_info，所以这不能以批处理的方式完成。

我的尝试

import sys
import itertools
from typing import Iterable
from collections import deque

class SetLengthDeque(deque):
    def __getitem__(self, s):
        # for me the common case is a slice so i prefer this, 
        # rather then check the type of s each time
        try:
            start, stop, step = s.start or 0, s.stop or sys.maxsize, s.step or 1
            return list(itertools.islice(self, start, stop, step))
        except AttributeError:  # not a slice but an int
            return self[s]

然而deque实际上是一个链表，一个循环数组。它在插入时快了大约 2 个数量级，但是在切片时它比列表慢 7 倍。另外，我仍然必须在每次迭代时创建一个 numpy 数组。

【问题讨论】：

使用一个 numpy 数组并从前一个数组的切片视图和丢失/新元素中创建一个新数组。
这会不会像列表中的迭代一样慢？我基本上将在每次迭代时复制data_list
使用deque 可能吗？您可以在创建时设置最大长度。
@ParitoshSingh 不，使用数组不会让任何事情变得更快。事实上，你更有可能从复制中获得可怕的效率。一维数组切片与列表没有任何关系，这使得它可行
numpy 切片很漂亮。我认为只要您不迭代它，您就会看到收益。 @moshevi 这个想法也是你不把删除当作一个切片来处理。

标签： python numpy deque

【解决方案1】：

我认为data_list = data_list[len(new_info):] 不错。切片的访问时间为 O(n)。

事情是这样的，我认为两者都不完全符合您的要求，因为在第 2 行和第 3 行之间有一个（诚然很小的）区间，列表 len 是 len(data_list) + len(new_info)。

data_list.extend(new_info) # Arbitrarily long
data_list[len(new_info):]

如果我们一次完成所有操作会怎样？

data_list = data_list.extend(new_info)[len(new_info):]

extend 没有返回值，所以我们得到一个错误。

编辑：这似乎可以处理它，但我还没有彻底测试过

if len(new_info) < len(data_list):
  data_list.extend(new_info)
  data_list[len(new_info):]
else:
  data_list = new_info[0-len(data_list):]
data_list

再次编辑：我也尝试使用deque per joshrogan

d = deque(data_list, maxlen=len(data_list))
j = deque([x for x in range(30)])
d.extend(j)

我认为其中一个在您的用例中可能比另一个性能更高，并且有兴趣了解它！

【讨论】：

"切片的访问时间为 O(1)" - 不，它们不是。切片需要复制列表的切片部分。
这不是我的意思，但你说得对，O(n) 更清楚我将编辑@user2357112

【解决方案2】：

几个想法：

如果起点是 deque() 的子类，您的代码 list(itertools.islice(self, start, stop, step)) 可能是进行切片的最快方法。我能看到的唯一改进是在最左边的切片索引位于中心线右侧时添加 reversed(self) 的特殊情况。
要支持固定长度要求，请使用 deque 的 maxlen 参数。
令人担忧的部分是要求，“每次，我都在为计算创建一个新的 numpy 数组”。那是昂贵的部分。一般规则是，如果需要 numpy，则数据应该在 numpy 中从头到尾。我只想让 numpy 数组增长到最大可容忍大小，让 numpy 快速、灵活的切片提供必要的数据视图，无需复制，也无需与 Python 对象相互转换。

【讨论】：