【问题标题】:Web spider: [ValueError] No JSON object could be decoded网络蜘蛛:[ValueError] 无法解码 JSON 对象
【发布时间】:2018-07-10 09:05:07
【问题描述】:

最近我一直在做网络蜘蛛的乐趣。我想学习如何使用验证码登录网站。我学到的一种方法是使用 cookie。所以我试了一下。但是我意识到了一个问题。 比如我想用 request.session 来获取 url:www.lovetvshow.com 而且我可以得到所有的 html 文本,但是当我试图将它转换为 Json 时,它失败了。它总是显示“[ValueError] No JSON object could be decoded”。但我已经有了文字。为什么没有json对象?

session = requests.session()
login_data = {'email': email, 'password': password}
header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
    'Host': 'www.lovetvshow.com'
}
# r = session.post('http://www.renren.com/', data=login_data, headers=header)
r = session.get('http://www.lovetvshow.com/',headers=header)
print r
print r.json()

这将产生:

<Response [200]>
Traceback (most recent call last):
  File "C:/Users/Hao/PycharmProjects/WebSpiderTutorial1/WebSpiderTutorial1.py", line 128, in <module>
    requests_session, requests_cookies = create_session()
  File "C:/Users/Hao/PycharmProjects/WebSpiderTutorial1/WebSpiderTutorial1.py", line 104, in create_session
    print r.json()
  File "C:\Python27\lib\site-packages\requests\models.py", line 892, in json
    return complexjson.loads(self.text, **kwargs)
  File "C:\Python27\lib\json\__init__.py", line 338, in loads
    return _default_decoder.decode(s)
  File "C:\Python27\lib\json\decoder.py", line 365, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "C:\Python27\lib\json\decoder.py", line 383, in raw_decode
    raise ValueError("No JSON object could be decoded")
ValueError: No JSON object could be decoded

有什么建议吗?谢谢。

【问题讨论】:

  • 是什么让你认为那里有 JSON 需要解码?您访问了一个网站的主页,响应是 HTML 格式。
  • 您好丹尼尔,感谢您的回复。是的,我一直在想为什么会出现这个问题。而且我也认为可能没有要转换的json对象。我写 r.json() 的原因是,我在教程中看到程序打开一个 url,然后他可以将响应 r 转换为 json 对象。当我看到时,我认为每个响应都可以转换为 json 对象。但是非常感谢您的帮助

标签: python json session get


【解决方案1】:

您必须确保有要解码的 JSON。使用检查完整的文本 打印print r.text。并寻找你的 json

【讨论】:

  • 谢谢你的帮助 guhkun。我在一个教程程序中看到了。该程序使用 post 获取响应,然后将响应转换为 json 对象以处理验证码问题。我以为我们总是可以这样做的。谢谢
猜你喜欢
  • 1970-01-01
  • 2015-03-29
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2023-03-12
  • 2015-01-04
  • 1970-01-01
相关资源
最近更新 更多