【问题标题】:Scraping website using beautiful soup returning "None"使用漂亮的汤刮网站返回“无”
【发布时间】:2021-04-07 23:09:11
【问题描述】:

我正在尝试运行以下代码,但我一直返回“无”。我要抓取的网站是 dsd.tools。

URL = 'https://dsd.tools/'
page = requests.get(URL)
soup = BeautifulSoup(page.content, 'html.parser')
title = soup.find("div", {"class": "content"})
print(title)

它应该很简单,但由于某种原因,我无法返回“TWAP 价格”。让我知道你们的想法。

【问题讨论】:

  • 页面是通过javascript渲染的,需要使用selenium

标签: python web-scraping beautifulsoup


【解决方案1】:

尝试打印响应文本。

page = requests.get(URL)
print(page.text)

您正在查看的元素似乎不存在于响应中。也许内容是在客户端使用 JS 生成的。

【讨论】:

    猜你喜欢
    • 2020-08-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-12-23
    • 1970-01-01
    • 2018-05-22
    • 2020-06-14
    • 2017-08-15
    相关资源
    最近更新 更多