【发布时间】：2018-10-27 22:14:15
【问题描述】：
我使用的是 Scrapy 1.5.1 版。我创建了解析器，它从主页解析 url，然后从已经解析的 url 中解析 url，等等。Scrapy 异步工作并建立并行连接。问题是，我有一些应该首先解析 url 的逻辑，创建我已经访问过的 url 集，要访问的最大 url 等等。
起初，我配置了CONCURRENT_REQUESTS_PER_DOMAIN=1 和CONCURRENT_REQUESTS=1，但它没有帮助，因为我认为有一个缓存url 的调度程序将接下来处理，然后以不同的顺序执行它。
我需要做的是强制scrapy处理一个url并等待它完成，然后开始解析新的url等。有没有办法配置scrapy来做到这一点？
【问题讨论】：
-
这是一个非常常见的问题，您正在寻找的是所谓的请求链。例如stackoverflow.com/questions/38753743 或 stackoverflow.com/questions/41660978
-
我有项目，对象由解析和存储 url 的函数组成。我将这个对象传递给请求的元数据。现在，我处理 3 个域。输出 json 由 3 个域组成，但访问的页面是混合的。域 1 访问的 url 包含来自所有 3 个域的 url。域 2 和 3 相同。我需要处理第一个域，然后是第二个域，然后是第三个域，等等...
标签： python python-3.x scrapy scrapy-spider