【发布时间】:2022-08-18 15:30:57
【问题描述】:
我正在尝试从网站上抓取数据,但下面的代码只会从网站的表格中提取第一行,尽管它处于 for 循环中。我错过了什么?
import requests
from bs4 import BeautifulSoup
import pandas
import xlsxwriter
r = requests.get(\"https://www.fantasypros.com/nfl/stats/qb.php\")
c = r.content
soup=BeautifulSoup(c, \"html.parser\")
all=soup.find_all(\"div\",{\"class\":\"mobile-table double-header\"})
l=[]
for item in all:
d={}
d[\"Player\"] = (item.find(\"a\",{\"class\",\"player-name\"}).text.strip())
l.append(d)
df=pandas.DataFrame(l)
df.to_csv(\"Output.csv\")
-
它应该找到所有“mobile-table” div,但只能找到“player-name” div 中的第一个,因为您使用的是
find而不是find_all。那是你想要的吗?每个双头 div 中的第一个玩家?
标签: python pandas for-loop beautifulsoup