用漂亮的汤得到一个 CSS 表答案

【问题标题】：Getting a CSS table with beautiful soup用漂亮的汤得到一个 CSS 表
【发布时间】：2019-11-06 12:09:37
【问题描述】：

我试图从这个表中获取数据，但我无法这样做：https://datagolf.ca/player-trends

在过去的几个小时里我尝试了很多东西，下面是我最近返回一个空列表时的结果。


import bs4
import requests

res = requests.get('https://datagolf.ca/player-trends')

soup = bs4.BeautifulSoup(res.text, 'lxml')

table = soup.find_all("div", class_ = "table")

table

问题是否与此类似：

Scrape of table with only 'div's

【问题讨论】：

您可能需要使用 selenium 来执行此操作。

标签： python web-scraping beautifulsoup

【解决方案1】：

这个页面是java脚本渲染的。仔细看看requests.get('https://datagolf.ca/player-trends') 实际返回的内容。它不包含该表。

尽管它从https://dl.dropboxusercontent.com/s/hprrfklqs5q0oge/player_trends_dev.csv?dl=1拉取数据

【讨论】：

神奇的谢谢，我刚刚把它直接放入数据框