【问题标题】:Time Scheduling - Scrapy时间安排 - Scrapy
【发布时间】:2015-01-10 17:00:07
【问题描述】:

在 Scarpy 中是否有任何方法可以安排我们的蜘蛛在某个时间运行?

【问题讨论】:

  • 您在哪个操作系统中工作? (win, Unix, Mac)
  • 当然,您可以从 cron 或任务调度程序运行它。
  • 我使用的是 ubuntu 14.04。
  • 我在其中使用了时间延迟 { time.sleep(120) },但有一段时间它超时了。

标签: python web-scraping scrapy screen-scraping scrapyd


【解决方案1】:

编辑您的/etc/crontab 文件并添加这一行

00     *     *   *    *        cd /path/to/scrapy/poject;scrapy crawl spider-name 

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2014-04-20
    • 2015-06-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-06-08
    • 2018-01-31
    相关资源
    最近更新 更多