liunx系统下crontab定时启动Scrapy爬虫程序

定时启动爬虫

# 查看命令得绝对路径
# which scrapy
# cd到爬虫得项目目录下 + scrapy命令得绝对路径  +  启动命令

*/5 * * * * cd /opt/mafengwo/mafengwo/spiders && /usr/bin/scrapy crawl mfw_spider >>/var/log/cron_error.log 2>&1   # 将正确和错误日志都打印到日志中

每5分钟执行一次mfw_spider这个爬虫程序


tail -f /var/log/cron    监测定时任务运行得日志

　crontab -e     创建定时任务

　crontab   -l   查看定时任务

　service crond stop  停止定时任务

　service crond restart  重启定时任务

　service crond start  启动定时任务