抓取相同的网址不同的源内容

【问题标题】：scrapy same url different source content抓取相同的网址不同的源内容
【发布时间】：2016-01-22 13:41:24
【问题描述】：

到目前为止，它使用了显示的 25 个匹配项的所有 URL，但是有一个“返回”（“Zurück”）按钮来显示更多匹配项，但它使用相同的 URL。那么我如何告诉 scrapy 按下该按钮并获取匹配的 URL？

【问题讨论】：

标签： scrapy

【解决方案1】：

当按下返回按钮时，浏览器会生成一个XMLHttpRequest。我建议在按下后退按钮后启动浏览器的控制台并检查网络流量。您将看到页面从中获取数据的 url。使用该网址进行进一步抓取。

【讨论】：