【问题标题】:How to automate a web scraping script with Python? [duplicate]如何使用 Python 自动化网页抓取脚本? [复制]
【发布时间】:2017-03-27 12:16:02
【问题描述】:

我完成了这个网页抓取教程: https://www.youtube.com/watch?v=XQgXKtPSzUI

(tl;dw:一个老兄教如何使用 Python 和 Beautiful Soup 抓取在线商店以在 csv 中创建数据库)。

我的问题是,由于在线商店会不断更新其内容,我如何设置脚本以每隔十分钟运行一次以更新我的数据库?

【问题讨论】:

    标签: python csv web-scraping automation beautifulsoup


    【解决方案1】:

    您可以制作另一个脚本,每 10 分钟执行一次更新脚本:

    import os
    import time
    
    while True: 
      os.system("my_script.py")
      time.sleep(10*60)
    

    或者,您可以在 linux 上使用 CRON 每 10 分钟执行一次脚本

    【讨论】:

    • 谢谢你的回复,你真棒!在控制台上显示:'my_script.py' 不是内部或外部命令、可运行程序或批处理文件。
    • 谢谢 :) 您介意将答案标记为解决方案吗? @Elite_Doge
    • my_script.py 是您的更新脚本。相应地重命名它。 (@Elite_Doge)
    • 在我接受您的评论作为答案之前还有 4 分钟,我会尽快处理,非常感谢。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-03-01
    • 2019-01-18
    • 2011-07-17
    • 1970-01-01
    • 2012-11-27
    相关资源
    最近更新 更多