【问题标题】:Scrapyd: How to set scrapyd task priority?Scrapyd:如何设置scrapyd任务优先级?
【发布时间】:2013-09-18 08:05:24
【问题描述】:

我有几个scrapy项目。我用scrapyd部署所有这些。一些蜘蛛很慢,而另一些则很快。现在,我想先运行快速蜘蛛。怎么办?

【问题讨论】:

  • 这是一个非常笼统的问题,如果您发布解决问题的尝试,您可能会得到一些答案。您是否尝试过编写自己的代码?
  • 对你有用吗?

标签: python scrapy web-crawler scrapyd


【解决方案1】:

我遇到了同样的问题。但是看了scrapyd的源码,好像scrapyd可以处理。但是,这没有记录。

您需要添加一个名为priority 的参数以及所需的值。默认优先级为 0。

例如:

curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d priority=1

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-05-15
    • 1970-01-01
    • 2013-04-08
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多