Scrapy 没有从 curl scrapyd 设置中获取设置

Question

我想通过以下方式将设置发送给爬虫：

curl http://127.0.0.1:6800/ -d project=project -d spider=spider -d 
setting=request_user=2

或者使用scrapyd python api：

scrapyd.schedule(project,spider,settings={'request_user':2})

然后从蜘蛛内部：

from scrapy.utils.project import get_project_settings
settings=get_project_settings()
request_user=settings.get('request_user')

但是，我总是得到request_user==None，这意味着爬虫永远不会收到来自scrapyd schedule 的设置。怎么了？

提前致谢

Answer 1

request_user 是蜘蛛变量，而不是设置。所以你可以像这样将它传递给蜘蛛：

Scrapyd JSON API：

curl http://127.0.0.1:6800/schedule.json -d project=project -d spider=spider -d request_user=2

Scrapyd python API：

scrapyd.schedule(project,spider,request_user=2)

更多信息：

Scrapyd JSON API 中的调度：https://scrapyd.readthedocs.io/en/stable/api.html#schedule-json

Scrapyd python API 中的调度：https://python-scrapyd-api.readthedocs.io/en/latest/usage.html#schedule-a-job-to-run