最近一直在用python写点爬虫,写点数据处理的相关模块,写来写去放到win服务器上运行一段时间后,
就会自动终止。查看日志后,发现各种报错,一个解决完之后又是另外一个。最后想了想,反正代码在运行
过程中,爬虫爬到的数据也正常入库了,数据的清洗也没有出什么大的错误,所以干脆就想着用定时任务来
曲线救国算了。每隔一段时间自动杀死相关进程,然后再用另外一个定时任务,自动重新运行相关代码。下
面就是详细步骤:
- 进入“定时任务”界面
- 进入定时任务设置页面
- 这里有个坑点:如果以后将这个定时任务导出并导入到其他服务器,需要点击“更改用户组”
-
设置定时任务时间条件
-
设置定时任务需要启动的程序
-
设置定时任务特殊情况的处理方式
-
检查定时任务是否能正常启动
- 将定时任务时间设置到邻近一分钟,检查是否能正常启动对应程序
总结:定时任务设置其实比较简单,但是否能长期稳定运行就需要在设置之初通过最小系统化、查询任务执行日志等手段进行多次验证,验证OK后,建议再按照1、2、4、8等时间段间隔进行定期检查。因为仅仅是临时用来保证代码持续运行的一种方式,如有错误,还请指正,谢谢!