BeautifulSoup 无法解析意外的编码

Question

如果写得不好，请提前为这篇文章道歉，因为我对 Python 非常陌生。我在使用 Python3 和 BeautifulSoup 时遇到的非常简单/愚蠢的问题。我试图在 Python 中解析一个 CSV 文件，但不知道每行的编码将包含什么，因为每行包含来自多个来源的原始数据。在我解析文件之前，我正在使用 BeautifulSoup 来尝试清理它（我不确定这是否是个好主意）：

from bs4 import BeautifulSoup

def main():
try:
    soup = BeautifulSoup(open('files/sdk_breakout_1027.csv'))

except Exception as e:
    print(str(e))

但是，当我运行它时，我遇到了以下错误：

'ascii' 编解码器无法解码位置 287 中的 0xed 字节：序数不在范围内（128）

我的回溯指向 CSV 中的这一行作为问题的根源：

500i(í£ : Android OS : 4.0.4

有什么更好的方法来解决这个问题？我只想将此 CSV 中的所有行转换为统一编码，以便稍后解析。

感谢您的帮助。

Answer 1

您无法使用 BeautifulSoup 解析 CSV 文件，只能解析 HTML 或 XML。

如果您想单独使用 BeautifulSoup 中的字符集猜测，您可以。请参阅文档的 Unicode, Dammit 部分。如果您有一份可能已使用的所有编码的完整列表，但只是不知道该列表中实际使用了哪个编码，请将该列表传递给 Dammit。

还有一个不同的字符集猜测库，称为chardet，您可能也想尝试一下。 （请注意，如果您安装了 chardet，Dammit 将使用它，因此您可能不需要单独尝试。）

但这两者都只是做出有根据的猜测；文档解释了它们可能失败的所有无数种方式。

另外，如果每一行的编码不同（这比平时更混乱），你将不得不对每一行进行 Dammit 或 chardet，就好像它是一个单独的文件一样。由于要处理的文本少得多，猜测的准确性就会大大降低，但是如果每一行确实可能采用不同的编码，那么您就无能为力了。

把它们放在一起，它看起来像这样：

encodings = 'utf-8', 'latin-1', 'cp1252', 'shift-jis'

def dammitize(f):
    for line in f:
        yield UnicodeDammit(line, encodings).unicode_markup

with open('foo.csv', 'rb') as f:
    for row in csv.reader(dammitize(f)):
        do_something_with(row)

Answer 2

猜测随机数据的编码永远不会是完美的，但如果你对你的数据源有所了解，你或许可以做到。

或者，您可以将open 设为 UTF-8 并忽略或替换错误：

import csv
with open("filename", encoding="utf8", errors="replace") as f:
  for row in csv.reader(f):
    print(", ".join(row))