一个 UnicodeDecodeError 发生在 Windows 上的 python 中的 json 上，但不是 Mac

Question

在windows上，我有以下问题：

>>> string = "Don´t Forget To Breathe"
>>> import json,os,codecs
>>> f = codecs.open("C:\\temp.txt","w","UTF-8")
>>> json.dump(string,f)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python26\lib\json\__init__.py", line 180, in dump
    for chunk in iterable:
  File "C:\Python26\lib\json\encoder.py", line 294, in _iterencode
    yield encoder(o)
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 3-5: invalid data

（注意字符串中的非 ascii 撇号。）

但是，我的朋友在他的 mac（也使用 python2.6）上可以轻而易举地运行：

> string = "Don´t Forget To Breathe"
> import json,os,codecs
> f = codecs.open("/tmp/temp.txt","w","UTF-8")
> json.dump(string,f)
> f.close(); open('/tmp/temp.txt').read()
'"Don\\u00b4t Forget To Breathe"'

这是为什么？我也尝试过将 UTF-16 和 UTF-32 与 json 和编解码器一起使用，但无济于事。

Answer 1

repr(string) 在每台机器上显示什么？在我的 Mac 上，撇号显示为 \xc2\xb4（utf8 编码，2 个字节），所以 utf8 编解码器当然可以处理它；在您的 Windows 上，它显然没有这样做，因为它谈到 三个 字节是一个问题 - 所以在 Windows 上，您必须为您的控制台设置一些其他的非 utf8 编码。

您的一般问题是，在 Python pre-3 中，您不应输入包含非 ascii 内容的字节字符串（"...."，而不是 u"...."）（除非专门作为转义字符串）：this根据设置为默认编解码器的某些编解码器，可能（取决于会话的设置方式）直接失败或产生字节，这不是您期望的确切字节（因为您不知道使用中的确切默认编解码器）。使用明确的 Unicode 文字

string = u"Don´t Forget To Breathe"

你应该没问题（或者如果你有任何问题，它会在这个分配时出现，此时我们可能会进入“如何为我的交互式会话设置默认编码”的问题，如果这就是你所需要的）。