【问题标题】：python scrappy football datapython scrapy 足球数据
【发布时间】：2021-12-11 06:24:16
【问题描述】：

我正在尝试学习如何在 python 中使用 scrappy；我对css不熟悉

所以当我复制日期选择器时，结果如下：

stats_grid > div.k-grid-content.k-auto-scrollable > table > tbody > tr:nth-child(1) > td:nth-child(1) > span

当我通过执行以下操作调出 scrappy 模块时：python shell "url"

然后输入 response.css('selector here')

我没有得到任何结果！

我如何检索日期信息？

感谢您阅读此消息！

【问题讨论】：

标签： python css

【解决方案1】：

所以这里的问题是，当 scrappy 收到页面响应时，您尝试抓取的数据不可用。

如果您在页面加载时打开了浏览器的开发者控制台，请查看网络选项卡上对该 URL 的 XHR 请求：

https://fantasydata.com/NFLTeamStats/Odds_Read

如果您查看其有效负载，您会发现它包含您尝试抓取的数据。换句话说，它是通过 HTTP 获取从网站的应用程序加载的AFTER初始页面已经加载。

因此，当您使用 webscaper（如 scrappy）时，您无法看到此类数据。你真的只得到了初始页面模板，之后通过javascript加载的任何东西都不可用。

如果您正在寻找一般的 NFL 和幻想相关的统计数据，有一个名为 FFDB 的应用程序可以让您使用它的引擎轻松创建数据库：

免责声明：我是该应用的作者。

最后请注意，css 标记与此问题无关。 scraping 或 webscrape 标签会更合适。

祝你好运！

【讨论】：