虚拟环境下crontab上scrapy爬取答案

【问题标题】：Scrapy crawl on crontab under virtual environment虚拟环境下crontab上scrapy爬取
【发布时间】：2012-09-16 02:47:05
【问题描述】：

尝试在虚拟环境下使用 crontab 运行 scrapy crawl 命令，并在从 cron job 运行 scrapy 命令时出现以下错误 -

     UserWarning: Cannot import scrapy settings module myspider.settings warnings.warn("Cannot import scrapy settings module
 %s" % scrapy_module) 
     ..... 
     raise KeyError("Spider not found: %s" % spider_name) KeyError: 'Spider not found: myspider'

有什么帮助或建议吗？

【问题讨论】：

您在 cron 中运行它的用户帐户是什么？
cron 命令长什么样子？
@DrColossos - */40 * * * * source /home/water/.virtualenvs/water/bin/activate && cd $HOME/water2012/ && scrapy crawl water2012 >> $HOME/water2012/ log/log_$(date +\%Y\%m\%d).log 2>&1
@Leo - 它在服务器上的帐户 ID 下运行 - water
你能在同一个账户下的shell会话中运行scrapy crawl命令没有问题吗？

标签： virtualenv crontab scrapy

【解决方案1】：

在 crontab 下运行时缺少 PYTHONPATH。

我已在以下 cron 作业之前添加它：

*/40 * * * * source /home/water/.virtualenvs/water/bin/activate && cd $HOME/water2012/ && scrapy crawl water2012 >> $HOME/water2012/log/log_$(date +\%Y\%m\%d).log 2>&1

【讨论】：