【问题标题】:How to check if something new appears on a certain web page in Python? [closed]如何检查Python中某个网页上是否出现了新内容? [关闭]
【发布时间】:2018-02-25 23:55:59
【问题描述】:

我正在使用 BS4 和 Scrapy 抓取网页。有没有办法检查是否出现了新的东西?如果可以,可以复印打印出来吗?
例如,here 是我写这篇文章时正在直播的足球比赛。每个进球都由球员姓名、时间和足球表示,即span,类别为icon soccer-ball。我怎样才能检查页面,比如说每 2 分钟,并打印出有人进球了吗?

【问题讨论】:

    标签: python python-3.x beautifulsoup scrapy


    【解决方案1】:

    HTTP 具有标头 Last-Modified。 “深入 Python”中Chapter 11. HTTP Web Services 的很大一部分致力于“如何不获取数据”

    Scrapy:查看Downloader Middleware的文档

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-06-11
      • 1970-01-01
      • 2023-04-10
      • 2019-12-31
      • 2013-06-29
      • 1970-01-01
      • 2012-05-04
      • 1970-01-01
      相关资源
      最近更新 更多