json.dump 中的 UnicodeDecodeError

Question

我有一个复杂的 JSON 可序列化数据结构，其中包含 unicode 字符串和 utf-8 字节字符串。

当我尝试使用ensure_ascii=False 序列化结构时，它失败了：

Python 2.7.5+ (default, Sep 19 2013, 13:48:49) 
[GCC 4.8.1] on linux2
>>> import json
>>> json.dumps(['\xd0\xb2', u'\xd0\xb2'], ensure_ascii=False)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python2.7/json/__init__.py", line 250, in dumps
    sort_keys=sort_keys, **kw).encode(obj)
  File "/usr/lib/python2.7/json/encoder.py", line 210, in encode
    return ''.join(chunks)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xd0 in position 1: ordinal not in range(128)
>>> 

我明白为什么this happens，但有没有更简单或内置的方法可以让它工作，而不是递归地遍历数据结构、查找字节字符串并将它们解码为 un​​icode？​​p>

Answer 1

AFAIK 序列化为 JSON 格式的原因是为了存储或传输一些信息。如果您指定ensure_ascii = False，则不会对非ascii 字符进行编码，这完全没有意义，因为您要对数据进行编码和序列化。

基本上，您正在尝试获取包含非编码字符的字符串，这是不可能的。

来自官方文档：

如果 ensure_ascii 为 True（默认值），则输出中的所有非 ASCII 字符都使用 \uXXXX 序列进行转义，结果是仅由 ASCII 字符组成的 str 实例。如果 ensure_ascii 为 False，则写入 fp 的某些块可能是 unicode 实例。这通常是因为输入包含 unicode 字符串或使用了编码参数。除非 fp.write() 明确理解 unicode（如在 codecs.getwriter() 中），否则这可能会导致错误。

另一方面，您正在设计 API 并不能说明您无法控制输入。 API 在某种程度上是一种契约：如果给出了一些输入，就会返回一些输出。因此，您可以并且应该始终指定您的期望。

在您的情况下，您可以一一检查元素，并将字节串转换为 unicode。话虽如此，我的建议是你强迫你的用户使用 unicode 并且 不要指定 ensure_ascii = False

对我来说，理解编码和避免问题的一般规则如下：

1. 代码中的字符串必须是 unicode。
2. 导入数据时，将其解码为 un​​icode。导出时，编码。这需要双方同意他们使用的编码，否则你只会得到噪音。