默认的内容类型/字符集是什么？

Question

根据这个答案：urllib2 read to Unicode

我必须获取内容类型才能更改为 Unicode。但是，有些网站没有“字符集”。

例如，this 页面的 ['content-type'] 是“text/html”。我无法将其转换为 Unicode。

encoding=urlResponse.headers['content-type'].split('charset=')[-1]
htmlSource = unicode(htmlSource, encoding)
TypeError: 'int' object is not callable

是否有默认的“编码”（当然是英文）...如果没有找到，我可以使用它吗？

Answer 1

好吧，我刚刚浏览了给定的 URL，它重定向到

http://www.engadget.com/2009/11/23/apple-hits-back-at-verizon-in-new-iphone-ads-video

然后在 Firefox 中点击 Ctrl + U （查看源代码），它会显示

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />

@Konrad：“似乎……使用 ISO-8859-1”是什么意思？？

@alex：是什么让你认为它没有“字符集”？？

查看您拥有的代码（我们猜测是导致错误的行（请始终显示完整回溯和错误消息！））：

htmlSource = unicode(htmlSource, encoding)

以及错误信息：

TypeError: 'int' object is not callable

这意味着unicode 不是指内置函数，而是指int。我记得在您的另一个问题中，您有类似

if unicode == 1:

我建议您为该变量使用其他名称——比如 use_unicode。

更多建议：(1) 始终显示足够的代码来重现错误 (2) 始终阅读错误消息。

Answer 2

如果没有明确的内容类型，它应该是 ISO-8859-1，如答案中所述。不幸的是，情况并非总是如此，这就是为什么浏览器开发人员花费一些时间来让算法尝试根据您的页面内容猜测内容类型。

幸运的是，Mark Pilgrim 以chardet module 的形式为将 Firefox 实现移植到 Python 做了所有艰苦的工作。 Dive Into Python 3 的其中一章的introduction on how it works 也很值得一读。

Answer 3

htmlSource=htmlSource.decode("utf8") 应该适用于大多数情况，除非您正在抓取非英语编码网站。

或者你可以这样写强制解码函数：

def forcedecode(text):
    for x in ["utf8","sjis","cp1252","utf16"]:
        try:return text.decode(x)
        except:pass
    return "Unknown Encoding"

Answer 4

是否有默认的“编码”（当然是英文）...如果没有找到，我可以使用它吗？

不，没有。你必须猜。

简单的方法：尝试解码为UTF-8。如果它有效，那就太好了，它可能是 UTF-8。如果不是，请为您正在浏览的页面类型选择最有可能的编码。对于cp1252 的英文页面，Windows 西欧编码。 （类似于 ISO-8859-1；事实上，即使您指定了该字符集，大多数浏览器也会使用 cp1252 而不是 iso-8859-1，因此值得复制该行为。）

如果您需要猜测其他语言，它会变得非常棘手。现有的模块可以帮助您在这些情况下进行猜测。参见例如。 chardet.