【问题标题】:Unable to scrape data from a website: Python BS4无法从网站上抓取数据:Python BS4
【发布时间】:2018-10-29 16:20:22
【问题描述】:

我正在尝试使用 BS4 和 python 从这个Platform 中抓取数据。我尝试了很多方法,但我无法检索任何信息。看起来它是来自 API 或其他东西的直接响应。有人可以在正确的方向上帮助我吗?

要抓取的数据:

谢谢,

【问题讨论】:

  • 对于这种动态内容,数据很可能不是页面本身加载的,是动态生成的。如果该站点提供 API 访问,您可以尝试使用它;如果没有,我会尝试使用Selenium 进行抓取,因为它可以处理异步加载

标签: python web-scraping beautifulsoup


【解决方案1】:

您可以使用 chrome 检查器查看页面上正在发出的请求。该页面正在向http://data.corkcity.ie/api/3/action/datastore_search发出请求

这是一个使用请求的 sn-p,它提取数据并将其输出为 json:

import requests 
import json
resp = requests.post(
    "http://data.corkcity.ie/api/3/action/datastore_search",
    headers={'Content-Type': 'application/json'},
    data=json.dumps(
        {
            "resource_id": "6cc1028e-7388-4bc5-95b7-667a59aa76dc",
            "filters": {},
            "limit": 10,
            "offset": 0,
        }
    ),
)
resp.json()

【讨论】:

  • 所以你的意思是上面的 sn-p 会让我提取正在发布的相同数据?我试过用sn-p但是好像没有反应
  • 已解决,谢谢
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多