无法读取文件中的一行：UnicodeDecodeError

Question

我正在从文本文件中读取行。这些行有两个字段，由特殊字符 <xx> 分隔。

代码：

result = open("myresult"+now.strftime("%d%m%Y-%H%M%S")+".txt","a")
inFile = open("test.txt","r")

x=1
for i in inFile:
    print("line",str(x))
    print(i)
    print(i.split("<xx>",1)[1])
    x=x+1

python从大文件中读取时，最后一行是parses is line 2060，之后就显示这个错误：

Traceback (most recent call last):
    File "mycode.py", line 11, in <module>
      for i in inFile:   File "/usr/local/lib/python3.6/codecs.py", line 321, in decode
          (result, consumed) = self._buffer_decode(data, self.errors, final)
    UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe2 in position 3901:
        invalid continuation byte

当我从输入文件test.txt 中提取line 2061 时，我发现了这个字符串：

https://rrr.com<xx>{'Server': 'nginx', 'Date': 'Fri, 19 Apr 2019 06:01:30 GMT', 'Content-Type': 'text/html', 'Transfer-Encoding': 'chunked', 'Set-Cookie': 'btst=1c95019e21634b953d79e9124ec8a40a|127.0.0.1|1555653690|1555653690|0|1|0; path=/; domain=.rrr.com; Expires=Thu, 15 Apr 2027 00:00:00 GMT; HttpOnly; SameSite=Lax;, snkz=127.0.0.1; path=/; Expires=Thu, 15 Apr 2027 00:00:00 GMT', 'Content-Encoding': 'gzip'}

当我尝试将它放在一个单独的文件中并单独解析它时，我没有收到错误。

谁能给我解释一下是什么问题？如何解决问题，让python不会停在这一行？

编辑：

请注意，我有来自不同来源的记录，即它们不遵循我所知道的特定编码。有什么通用的东西可以解决这个问题吗？

编辑： 根据一条评论，我尝试了以下方法。光标在... 之后挂起，直到我按下回车键。

Python 3.6.5 (default, Mar 15 2019, 05:40:52) 
[GCC 7.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> with open("test.txt","rb") as f: print(repr(f.read()[3890:3910]))
... 
b"sfer-Encoding': 'chu"

Answer 1

问题在于，尽管您认为该文件是使用特定编码创建的。为了有意义地解码文件，您需要使用相同的编码。否则，您无法保证获得文件创建者所期望的文本。

如果丢失一些数据对你来说是可以的，你可以使用errors='ignore'来避免错误：

open("test.txt", "r", errors="ignore")

但正如我之前所说，您可能无法获得最初预期的文本。

有关errors 参数的更多选项，请在 python 控制台中运行此代码：

import codecs
help(codecs.Codec)

但如果编码错误，它们都不会按预期为您提供文本。

关于不丢失数据的问题，如果您不知道原始编码，则您已经丢失了数据。不仅无法读取的行是有问题的。即使该行可以正确读取，您也无法判断您读取的字符是否与原始文本中的字符相同，除非行仅包含 ASCII 字符。