为什么 takewhile() 会跳过第一行？

Question

我有一个这样的文件：

1
2
3
TAB
1
2
3
TAB

我想将 TAB 之间的行读取为块。

import itertools

def block_generator(file):
    with open(file) as lines:
        for line in lines:
            block = list(itertools.takewhile(lambda x: x.rstrip('\n') != '\t',
                                             lines))
            yield block

我想这样使用它：

blocks = block_generator(myfile)
for block in blocks:
    do_something(block)

我得到的块都是从第二行开始的，比如[2,3] [2,3]，为什么？

Answer 1

这是使用 groupby 的另一种方法

from itertools import groupby
def block_generator(filename):
    with open(filename) as lines:
        for pred,block in groupby(lines, "\t\n".__ne__):
            if pred:
                yield block

Answer 2

给你，测试代码。使用while True: 循环，并让itertools.takewhile() 使用lines 做所有事情。当itertools.takewhile() 到达输入的末尾时，它返回一个迭代器，除了raise StopIteration，它什么都不做，list() 只是变成一个空列表，所以一个简单的if not block: 测试检测到空列表并跳出循环。

import itertools

def not_tabline(line):
    return '\t' != line.rstrip('\n')

def block_generator(file):
    with open(file) as lines:
        while True:
            block = list(itertools.takewhile(not_tabline, lines))
            if not block:
                break
            yield block

for block in block_generator("test.txt"):
    print "BLOCK:"
    print block

正如下面的评论中所指出的，这有一个缺陷：如果输入文本在一行中有两行只有制表符，则此循环将停止处理而不读取所有输入文本。而且我想不出任何办法来干净地处理这个问题；非常不幸的是，您从 itertools.takewhile() 返回的迭代器使用 StopIteration both 作为组结束的标记以及在文件结束时获得的标记。更糟糕的是，我找不到任何方法来询问文件迭代器对象是否已到达文件结尾。更糟糕的是，itertools.takewhile() 似乎将文件迭代器立即推进到文件结尾；当我尝试使用lines.tell() 重写上述内容以检查我们的进度时，它已经在第一组之后的文件末尾。

我建议使用itertools.groupby() 解决方案。它更干净。

Answer 3

我认为问题在于您在 lambda 函数中使用了 lines 而不是 line。您的预期输出是什么？

Answer 4

itertools.takewhile 隐式迭代文件的lines 以获取块，但for line in lines: 也是如此。每次通过循环，一个line 被抓取，丢弃（因为没有使用line 的代码），然后更多的blocked 在一起。