【问题标题】:Missing html tag in BeautifulsoupBeautifulsoup 中缺少 html 标签
【发布时间】:2023-01-22 05:09:54
【问题描述】:

我是网络抓取的新手。

通过在浏览器中查看 html 代码,浏览器包含很多内容,例如:

enter image description here

但是代码给出了关于 head 标签的所有信息,但没有关于 div id=app 内部的信息

我的代码:

url = 'https://www.cityline.com/Events.html'
data = requests.get(url)
soup = BeautifulSoup(data.text, 'lxml')
print(soup.prettify())

【问题讨论】:

  • 这是一个 Javascript 网站。如果您尝试在没有 Javascript 的情况下加载它,它将显示“很抱歉,如果没有启用 JavaScript,vue_project 无法正常工作。请启用它以继续。'。因此,要么使用 Selenium,要么从某些 API(如果 API 可用)获取您在该页面中查找的信息。

标签: python-3.x web-scraping


【解决方案1】:

看起来页面内容是使用某些前端框架动态生成的,因此不能仅使用请求模块进行抓取。

【讨论】:

    猜你喜欢
    • 2015-10-12
    • 1970-01-01
    • 1970-01-01
    • 2019-12-10
    • 1970-01-01
    • 2018-06-15
    • 2015-07-04
    • 1970-01-01
    • 2015-06-24
    相关资源
    最近更新 更多