谷歌抓取ajax

Question

我有结果页面，其中结果是使用 ajax 加载的，这意味着分页按钮正在调用 JS。结果页面的链接很漂亮'/result/sell/06589'，我会引导谷歌到这个页面，但是有没有办法让爬虫机器人点击分页按钮。

Answer 1

是的，让它们不是按钮，而是样式为按钮的链接。

此外，您还需要确保它们在没有 Javascript 的情况下也能正常工作！爬虫通常没有 Javascript。