json 编码为 UTF-8 字符。如何在 Python 请求中处理为 json

Question

我正在抓取一个呈现如下所示 JavaScript/JSON 对象的网站：

{ "company": "\r\n            \x3cdiv class=\"page-heading\"\x3e\x3ch1\x3eSEARCH
 RESULTS 1 - 40 OF 200\x3c/h1\x3e\x3c/div\x3e\r\n\r\n             
\x3cdiv class=\"right-content-list\"\x3e\r\n\r\n                
\x3cdiv class=\"top-buttons-adm-lft\"\x3e\r\n   

我正在尝试使用 Python 的 Requests 库将其作为 JSON 对象进行处理（这就是它的样子）。

我使用以下方法对文本进行编码/处理：

unicodedata.normalize("NFKD", get_city_json.text).encode('utf-8', 'ignore')
unicodedata.normalize("NFKD", get_city_json.text).encode('ascii', 'ignore')
unicode(get_city_json.text)

但是，即使经过多次尝试，文本仍会使用 UTF-8 编码及其字符呈现。 Web 应用返回的 Content-Type 是 "text/javascript; charset=utf-8"

我希望能够将其作为常规 JSON/JavaScript 对象进行处理以进行解析和读取。

我们将不胜感激！

Answer 1

那不是UTF-8。它是 HTML 编码的文本。

您可以使用以下方法对其进行解码：

Python 2

import HTMLParser
html_parser = HTMLParser.HTMLParser()
unescaped = html_parser.unescape(json_value)
print unescaped

Python 3

import html.parser    
html_parser = html.parser.HTMLParser()
unescaped = html_parser.unescape(json_value)
print unescaped

如果你用这些对你的字符串进行转义，你应该得到

<div class="page-heading"><h1>SEARCH RESULTS 1 - 40 OF 200</h1></div>
<div class="right-content-list">
<div class="top-buttons-adm-lft">