使用请求和 BeautifulSoup 从网站的不同选项卡中抓取数据答案

【问题标题】：Scraping data from different tabs of a website using requests and BeautifulSoup使用请求和 BeautifulSoup 从网站的不同选项卡中抓取数据
【发布时间】：2021-11-29 09:09:15
【问题描述】：

我正在尝试从该网站的“概览”、“技术”、“基础”、“性能”和“数据透视标签”标签中抓取数据 - https://www.moneycontrol.com/markets/indian-indices/top-nseauto-companies-list/52classic=true&categoryId=2&exType=N，但我只能从第一个标签（即“概览”标签）中获取表格。

我正在尝试使用这段代码从“技术”选项卡中获取数据，但它不起作用：

y = requests.get(auto_url, data={'id': 'extraIdMT', 'value': 'td52N'})

print(y.content)

任何人都可以帮助如何从技术选项卡中抓取表格。

【问题讨论】：

标签： python web-scraping beautifulsoup python-requests tabs

【解决方案1】：

您可以尝试使用浏览器中的开发人员工具来查看单击选项卡时会发生什么。使用网络分析器时，可以看到点击任意选项卡都会使用GET方法调用带有特定参数的文件ChangeTableData。对于技术选项卡，它将是 this link。您可以简单地从这些 URL 中获取您的数据 :)

网络分析仪的外观如下：

【讨论】：

谢谢。直接使用 URL 很有帮助，也很容易。但我只是好奇是否有一种更 Pythonic 的方法来说明我们如何在 python 中从一个选项卡切换到另一个选项卡并获取表数据。