网站通过scrapy查询时不返回表格答案

【问题标题】：Website doesnt return table when querying by scrapy网站通过scrapy查询时不返回表格
【发布时间】：2021-12-02 03:25:42
【问题描述】：

我正在尝试查询https://www.bankofindia.co.in/Home/BranchLocator?page=1，当我打开网站时，它会显示数据表。在页面中向前和向后移动也会显示和更新表格。但是通过scrapy查询时，不会返回该表。

    start_urls = [
    "https://www.bankofindia.co.in/Home/BranchLocator?page={}".format(i)
    for i in range(1, 10)
]

def parse(self, response, **kwargs):
    """Parse response."""
    all_names = response.xpath(
        "//span[@id='BranchName']/text()",
    ).extract()
    for name in all_names:
        print(name)

    all_addresses = response.xpath(
        "//span[@id='Address']/text()",
    ).extract()

是我做错了什么还是网站运行不正常？

【问题讨论】：

标签： python selenium web-scraping scrapy

【解决方案1】：

这里没有错。实际上，要获取表格数据，您必须需要填写表格，并且填写的表格将生成表格，并且您必须刮掉表格数据，否则这是不可能的。您看到的带有页码的表格数据是动态的，甚至不是从 xhr api 请求生成的。

PS：您需要填写以下内容：Brunch Name、IFSC Code、State、City

【讨论】：