可以从左侧截断的 Python 缓冲区？

Question

现在，我正在使用字符串、StringIO 或 cStringIO 缓冲字节。但是，我经常需要从缓冲区的左侧删除字节。一种天真的方法将重建整个缓冲区。如果左截断是一种非常常见的操作，是否有最佳方法来做到这一点？ Python 的垃圾收集器实际上应该对截断的字节进行 GC。

任何类型的算法（将缓冲区分成小块？），或现有的实现，都会有帮助。

编辑：

我尝试为此使用 Python 2.7 的 memoryview，但遗憾的是，当原始引用被删除时，“视图”之外的数据不会被 GC：

# (This will use ~2GB of memory, not 50MB)

memoryview # Requires Python 2.7+

smalls = []

for i in xrange(10):
    big = memoryview('z'*(200*1000*1000))
    small = big[195*1000*1000:]
    del big
    smalls.append(small)
    print '.',

Answer 1

将缓冲区构建为字符或行的列表，然后对列表进行切片。仅在输出时作为字符串加入。这对于大多数类型的“可变字符串”行为非常有效。

GC 将收集截断的字节，因为它们不再在列表中被引用。

更新：要修改列表头，您可以简单地反转列表。这听起来像是一件低效的事情，但是 python 的列表实现在内部对此进行了优化。

来自http://effbot.org/zone/python-list.htm：

倒车很快，所以暂时 颠倒列表通常可以加快速度 如果您需要删除和 在 列表开头：

L.reverse()
# append/insert/pop/delete at far end
L.reverse()

Answer 2

如果左删除操作频繁，deque 将是有效的（与使用列表、字符串或缓冲区不同，它的任一端删除的摊销 O(1)）。但是，它在内存方面比字符串更昂贵，因为您将每个字符存储为自己的字符串对象，而不是打包序列。

或者，您可以创建自己的实现（例如，固定大小的字符串/缓冲区对象的链表），这样可以更紧凑地存储数据。