如何将 Py3k HTTPResponse 转储到 json.load 中？答案

【问题标题】：How to dump a Py3k HTTPResponse into json.load?如何将 Py3k HTTPResponse 转储到 json.load 中？
【发布时间】：2012-09-22 22:26:53
【问题描述】：

我认为json.load() 应该能够像http.client.HTTPResponse 一样读取对象，但它似乎因为read() 是一个类似字节的对象而绊倒了。（我使用的是 Python 3.3。）令我惊讶的是，尽管我认为这是一个主要用例，但我发现没有直接解决此用途的资源。

import urllib.request, json

# Y!F url
yf = 'http://d.yimg.com/autoc.finance.yahoo.com/autoc'

# Mock lookup
data = urllib.parse.urlencode({'query': 'Ford', 'callback': 'YAHOO.Finance.SymbolSuggest.ssCallback'})
data = data.encode('utf-8')
request = urllib.request.Request(yf)
request.add_header('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/536.26.14 (KHTML, like Gecko) Version/6.0.1 Safari/536.26.14')
request.add_header('Content-type','text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8;charset=utf-8')
request.add_header('Accept','text/plain')

mock = urllib.request.urlopen(request, data)
json.load(mock)

这会导致错误：

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Library/Frameworks/Python.framework/Versions/3.3/lib/python3.3/json/__init__.py", line 264, in load
    parse_constant=parse_constant, object_pairs_hook=object_pairs_hook, **kw)
  File "/Library/Frameworks/Python.framework/Versions/3.3/lib/python3.3/json/__init__.py", line 309, in loads
    return _default_decoder.decode(s)
  File "/Library/Frameworks/Python.framework/Versions/3.3/lib/python3.3/json/decoder.py", line 352, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
TypeError: can't use a string pattern on a bytes-like object

【问题讨论】：

看来你可能遇到了这个问题：stackoverflow.com/questions/6862770/…
@MatthewTrevor，确实，谢谢。 readall-encode-loads 解决方法让我更进一步，但仅此而已：ValueError: No JSON object could be decoded 我很确定 Yahoo！从我的问题中的 URL 返回一个 JSON 对象。我现在做错了什么？（我知道，可能与原始问题无关。）
我明白了。因为它有围绕 JSON 对象的函数包装器。我认为这就是它应该如何工作的方式。现已修复。

标签： python json python-3.x urllib2

【解决方案1】：

这已在上一个帖子中解决：Python 3, let json object accept bytes or let urlopen output strings （HT：马修·特雷弗）

还有，什么 Yahoo!此处返回的不仅是 JSON 对象，还包括 YAHOO.Finance.SymbolSuggest.ssCallback() 包装器。剥离可以解决问题。（虽然还是很难过，但还是需要的。）

这行得通：

import urllib.request, json, re

# Y!F url
yf = 'http://d.yimg.com/autoc.finance.yahoo.com/autoc'

# Mock lookup
data = urllib.parse.urlencode({'query': 'Ford', 'callback': 'YAHOO.Finance.SymbolSuggest.ssCallback'})
data = data.encode('utf-8')
request = urllib.request.Request(yf)
response = urllib.request.urlopen(request, data)
j = json.loads(re.search(r'{.*}',response.readall().decode('utf-8')).group())

【讨论】：

我无法让 Yahoo Finances 链接正常工作，抱歉，我没有看到包装。很高兴你解决了！