如何使用 python-crontab 或 crontab -e 为我的爬虫设置 cron 作业答案

【问题标题】：How to setup a cron job for my scrapy crawlers using python-crontab or crontab -e如何使用 python-crontab 或 crontab -e 为我的爬虫设置 cron 作业
【发布时间】：2015-11-13 20:29:43
【问题描述】：

我对 cron 工作完全陌生。想要设置 cronjobs。

我使用的方法不起作用

crontab -e

2 * * * * /home/user/Desktop/folder/scrapy crawl xyz

我想看看它是否每 2 分钟工作一次，但没有得到任何输出。

我只想要一个简单的逐步过程来设置 cronjobs。

【问题讨论】：

你可能想去stackoverflow.com/tags/crontab/info中的“调试crontab”

标签： python cron scrapy crontab

【解决方案1】：

尝试将 PATH 添加到您的 cron：

PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin

或#!/usr/bin/python 到脚本顶部

【讨论】：

我将这个添加到我的 python 爬虫中？
crontab 的路径和你的爬虫的#!/usr/bin/python 路径
按照您的要求执行此操作后是否正确 2 * * * * /home/user/Desktop/folder/scrapy crawl xyz
不推荐使用#!/usr/bin/pythondevelopers.redhat.com/blog/2018/08/13/install-python3-rhel/…

【解决方案2】：

使您的脚本可运行。

chmod +x /home/user/Desktop/folder/scrapy

并添加：

#!/usr/bin/env/ python

到你的脚本。

您的 crontab 是正确的，并且 cron 将每 2 分钟使用给定参数运行一次脚本。

【讨论】：

我这样做了，但它没有运行
那么你的脚本没有shebang。
假设程序打印了一些东西如何得到输出？
它应该在日志中。此外，您可以配置 cron 在作业完成时发送电子邮件。该电子邮件将包含stdout。