Python Beautiful Soup 从一页中抓取单个页面

Question

所以我打算抓取这个网站，这样我就可以获得每支英超球队的阵容数据。有人可以帮助我如何做到这一点吗？在这个 URL 下，在 Premier League 标题下，我可以看到一堆 UI 标签中的球队列表。

我还注意到每个团队的 URL 都是这样的 - https://www.skysports.com/arsenal，在该页面内，小队的链接看起来像 - https://www.skysports.com/arsenal-squad。

但这也适用于非超级联赛球队。

最初，我还能够为球队及其积分等抓取英超联赛表并将其放入 csv 中。所以也许我可以使用它来构建 URL 以获取各个球队的数据。 ?例如，以下是我在 csv 中的内容

位置，团队，Pl，W，D，L，F，A，GD，Pts 1,曼彻斯特城,9,7,2,0,26,3,23,23 2,利物浦,9,7,2,0,16,3,13,23

Answer 1

使用母版页上的链接来解析详细页面的正确地址，而不是猜测 URL（正如您提到的首映联赛失败）。

因此你需要使用beautifulsoup：

1. 获取链接到您需要的详细信息页面的链接 (a)。
2. 获取此链接的href
3. 如果链接是相对的，您需要针对当前页面解析它，因此使用 urllib 从 url 中提取路径，然后使用 newpath=os.abspath(os.path.join(curpath,href)) ，将其粘贴回您的域的 url。
4. 现在您有了详细信息页面的名称。

您可能会针对您所在的页面类型提出几种不同的情况，查找仅出现在您正在查看的页面上的 id 或类，或用于确定要使用哪个页面解析器的字符串模式使用。