如果 xmlcharrefreplace 和 backslashreplace 不起作用，我应该如何解码字节（使用 ASCII）而不丢失任何“垃圾”字节？

Question

我有一个网络资源，它返回的数据应该（根据规范）是一个 ASCII 编码的字符串。但在极少数情况下，我会收到垃圾数据。

例如，一个资源返回b'\xd3PS-90AC'，而另一个资源，对于相同的键返回b'PS-90AC'

第一个值包含一个非 ASCII 字符串。显然违反了规范，但不幸的是我无法控制。我们没有人能 100% 确定这真的是是垃圾或应该保留的数据。

调用远程资源的应用程序将数据保存在本地数据库中以供日常使用。我可以简单地做一个data.decode('ascii', 'replace') 或..., 'ignore')，但是我会丢失数据，这些数据可能会在以后变得有用。

我的第一反应是使用'xmlcharrefreplace' 或'backslashreplace' 作为错误处理程序。仅仅是因为它会产生一个可显示的字符串。但后来我收到以下错误：TypeError: don't know how to handle UnicodeDecodeError in error callback

唯一有效的错误处理程序是surrogateescape，但这似乎是为文件名设计的。另一方面，出于我的意图和目的，它会起作用。

为什么'xmlcharrefreplace' 和'backslashreplace' 不起作用？我不明白这个错误。

对于示例，预期的执行是：

>>> data = b'\xd3PS-90AC'
>>> new_data = data.decode('ascii', 'xmlcharrefreplace')
>>> print(repr(new_data))
'&#d3;PS-90AC'

这是一个人为的示例。我的目标是不丢失任何数据。如果我使用ignore 或replace 错误处理程序，则相关字节基本上会消失，并且信息会丢失。

Answer 1

为了完整起见，想从 python 3.5 开始添加，backslashreplace 用于解码，因此您不再需要添加自定义错误处理程序。

Answer 2

>>> data = b'\xd3PS-90AC'
>>> data.decode('ascii', 'surrogateescape')
'\udcd3PS-90AC'

它不使用 html 实体，但它是一个不错的起点。如果还不够，您将不得不使用 codecs.register_error 我假设注册自己的错误处理程序。

对于 Python3：

def handler(err):
    start = err.start
    end = err.end
    return ("".join(["&#{0};".format(err.object[i]) for i in range(start,end)]),end)

import codecs
codecs.register_error('xmlcharreffallback', handler)
data = b'\xd3PS-90AC'
data.decode('ascii', 'xmlcharreffallback')

对于 Python 2

def handler(err):
    start = err.start
    end = err.end
    return (u"".join([u"&#{0};".format(ord(err.object[i])) for i in range(start,end)]),end)

import codecs
codecs.register_error('xmlcharreffallback', handler)
data = b'\xd3PS-90AC'
data.decode('ascii', 'xmlcharreffallback')

两者都生产：

'ÓPS-90AC'