如何使用“for index, line in enumerate(file)”解码二进制文件？

Question

我在file1.py 中打开一个非常大的二进制文件，我在 Python 3.5 中打开：

with open(pathname, 'rb') as file:
    for i, line in enumerate(file):
        # parsing here

但是，我自然会得到一个错误，因为我正在以二进制模式读取文件，然后创建一个字节列表。然后使用 for 循环，您将字符串与字节进行比较，此处代码失败。

如果我是在单独的行中阅读，我会这样做：

with open(fname, 'rb') as f:
    lines = [x.decode('utf8').strip() for x in f.readlines()]

但是，我使用的是for index, lines in enumerate(file):。在这种情况下正确的方法是什么？我要解码下一个对象吗？

这是我正在运行的实际代码：

with open(bam_path, 'rb') as file:
    for i, line in enumerate(file):
        line_data=pd.DataFrame({k.strip():v.strip()
            for k,_,v in (e.partition(':')
                for e in line.split('\t'))}, index=[i])

这是错误：

Traceback (most recent call last):                                                                                                
  File "file1.py", line 18, in <module>                                                                                        
    for e in line.split('\t'))}, index=[i])                                                                                       
TypeError: a bytes-like object is required, not 'str' 

Answer 1

您可以将带有解码行的生成器提供给enumerate：

for i, line in enumerate(l.decode(errors='ignore') for l in f):

解码后产生f 中的每一行的技巧。我添加了errors='ignore'，因为使用r 打开失败且起始字节未知。

顺便说一句，在bytes 上操作时，您可以将所有字符串文字替换为字节文字，即：partition(b':')、split(b'\t') 并使用bytes 完成您的工作（很确定 pandas 可以正常使用它们） .