用scrapy抓取“查看更多”按钮

Question

我正在尝试从该页面https://hipages.com.au/find/electricians/wa/perth 抓取数据，但有一个“查看更多”按钮。而且我不知道使用哪个 url 来获取更多数据。

我检查了页面，打开了网络选项卡，但我找不到使用 Scrapy 抓取所有数据的好方法。

我知道我可以使用 Selenium，但是有超过 200 000 个 url，所以我不能为此使用 Selenium，因为获取所有数据需要数周时间。

Answer 1

该网站使用 API，因此您可以使用它。 例如：https://hipages.com.au/api/directory/sites?suburb=perth&state=wa&category=8&page=1&perpage=10&code=111d887415230e233b23fdaae8e160d62715d99d7c417a33c1ca27c0b47b3a6ce810db7af2cec77fe5a629d12ad9cc68

然后你可以操作 url 的查询参数，然后通过 Scrapy 获取数据。