python3：不同的字符集支持

Question

我在 Windows 7 中使用 python 3.3。

if "iso-8859-1" in str(source):
    source = source.decode('iso-8859-1')
if "utf-8" in str(source):
    source = source.decode('utf-8')

所以，目前我的申请仅对上述两个字符集有效......但我想涵盖所有可能的字符集。

实际上，我是从网站的源头手动查找这些字符集的，并且我体验到世界上所有的网站都不仅仅来自这两个。有时网站不会在其 HTML 源代码中显示其字符集！所以，我的应用程序无法继续前进！

我应该怎么做才能自动检测字符集并根据它进行解码？ 如果可能，请尝试让我深入了解并提供示例。您也可以推荐重要的链接。

Answer 1

BeautifulSoup 提供了一个函数UnicodeDammit()，它通过多个步骤¹ 来确定你给它的任何字符串的编码，并将其转换为 unicode。使用起来非常简单：

from bs4 import UnicodeDammit
unicode_string = UnicodeDammit(encoded_string)

如果您使用 BeautifulSoup 处理您的 HTML，它会 automatically use UnicodeDammit 为您将其转换为 unicode。

---

¹According to the documentation for BeautifulSoup 3，这些是 UnicodeDammit 采取的行动：

Beautiful Soup 按优先级顺序尝试以下编码，以 将您的文档转换为 Unicode：

• 作为 fromEncoding 参数传递给汤构造函数的编码。
• 在文档本身中发现的编码：例如，在 XML 声明或（对于 HTML 文档）一个 http-equiv META 标记。如果美丽 Soup 在文档中找到这种编码，它会解析 从头开始重新记录并尝试新的编码。这 唯一的例外是您明确指定了编码，并且 encoding 实际上有效：那么它将忽略它在 文件。
• 通过查看文件的前几个字节来嗅探的编码。如果 在此阶段检测到编码，它将是 UTF-* 编码之一， EBCDIC 或 ASCII。
• chardet 库嗅探到的编码（如果已安装）。
• UTF-8
• Windows-1252

BeautifulSoup 4 文档中似乎没有这种解释，但大概 BS4 的 UnicodeDammit 以大致相同的方式工作（尽管我没有检查来源以确定）。