【发布时间】：2012-11-16 15:38:40
【问题描述】：
我一直在寻找有关 Scrapyd 服务的文档，但它非常薄。我想知道是否有人知道如何设置多个指向同一个调度队列的 Scrapyd 服务器？
【问题讨论】：
标签： python web-scraping scrapy scrapyd
【发布时间】：2012-11-16 15:38:40
【问题描述】：
我不知道有任何“保存计划队列”，但是通过打开几个屏幕并运行scrapy server 来运行多个scrapyd 很容易。
您可以通过在 PROJECT_DIRECTORY/scrapyd.conf 中设置/更改以下选项来调整 scrapyd 的端口号：
[scrapyd]
http_port = 6969
通过http://doc.scrapy.org/en/latest/topics/scrapyd.html#starting-scrapyd
【讨论】：
使用同一个sqlite数据库怎么样？ dbs_dir 设置在scrapyd.script._get_config()。
【讨论】：
-
这是个好主意，但 sqlite 并不是真正为处理来自多个服务器的多个请求而设计的。我必须做的是修改应用程序以指向 Postgresql。