检索 Xpath 文本时编码 UTF-8 不起作用

Question

我正在通过 lxml xpath 从网站检索一些日期：

page = requests.get(url)

tree = html.fromstring(page.content)

titles_arr = tree.xpath("//span[@class='lister-item-header']/span/a/text()")

有些标题有德语变音符号（例如üöä），所以我想像这样对返回的文本进行编码：

for title in titles_arr:
    title = title.encode('utf-8')

但它仍然由 Der Herr der Ringe - Die R\u00fcckkehr des K\u00f6nigs 之类的而不是它们各自的 unicode 字符组成。我做错了什么？

谢谢

Answer 1

您似乎正在处理使用转义的 unicode 字符编码的字节串。

你可以这样解码：

>>> bs = b'Die R\u00fcckkehr des K\u00f6nigs'
>>> bs.decode('raw-unicode-escape')
'Die Rückkehr des Königs'

如果您处理的是文本而不是字节，则需要先编码然后解码：

>>> s = 'Die R\u00fcckkehr des K\u00f6nigs'                                                                                                                                                                                               
>>> s.encode('latin-1').decode('raw-unicode-escape')                                                                           
'Die Rückkehr des Königs' 

这种编码用于对json中的unicode字符进行转义，将json限制为ascii值：

>>> json.dumps('Die Rückkehr des Königs')
'"Die R\\u00fcckkehr des K\\u00f6nigs"'   

因此，您获取的任何 url 都可能是带有嵌入式 json 的 html，或带有嵌入式 html 的 json - 可能值得检查响应的 json 属性。