Python 2.7：如何将字符串中的 unicode 转义转换为实际的 utf-8 字符

Question

我使用 python 2.7 并且我正在从服务器接收 字符串（不是 unicode！）。 在该字符串中，我找到带有 unicode 转义序列的文本。比如这样：

<a href = "http://www.mypage.com/\u0441andmoretext">\u00b2<\a>

如何将那些 \uxxxx - 转换回 utf-8？我找到的答案要么处理&#，要么需要eval()，这对我来说太慢了。对于任何包含此类序列的文本，我都需要一个通用的解决方案。

编辑： <\a> 是一个错字，但我也希望能容忍这种错字。应该只对\u有反应

示例文本使用正确的 Python 语法，如下所示：

"<a href = \"http://www.mypage.com/\\u0441andmoretext\">\\u00b2<\\a>"

所需的输出是正确的python语法

"<a href = \"http://www.mypage.com/\xd1\x81andmoretext\">\xc2\xb2<\\a>"

Answer 1

试试

>>> s = "<a href = \"http://www.mypage.com/\\u0441andmoretext\">\\u00b2<\\a>"
>>> s.decode("raw_unicode_escape")
u'<a href = "http://www.mypage.com/\u0441andmoretext">\xb2<\\a>'

然后你可以像往常一样编码为utf8。

Answer 2

对于这种情况，Python 确实包含一些特殊的字符串编解码器。

在这种情况下，如果在 32-127 范围之外没有其他字符，您可以使用“unicode_escape”编解码器安全地解码您的字节字符串，以便在 Python 中拥有正确的 Unicode 文本对象。 （您的程序应该在其上执行所有文本操作） - 每当您再次输出该文本时，您都会像往常一样将其转换为 utf-8：

rawtext = r"""<a href="http://www.mypage.com/\u0441andmoretext">\u00b2<\a>"""
text = rawtext.decode("unicode_escape")
# Text operations go here
...
output_text = text.encode("utf-8")

如果存在 32-127 范围之外的其他字节，则 unicode_escape 编解码器 假设它们采用 latin1 编码。因此，如果您的响应混合了 utf-8 和这些 \uXXXX 序列，您必须：

1. 使用 utf-8 解码原始字符串
2. 编码回 latin1
3. 使用“unicode_escape”解码
4. 处理文本
5. 编码回 utf-8