【问题标题】:Capture changes in a dynamically updated table在动态更新的表中捕获更改
【发布时间】:2020-07-08 14:30:54
【问题描述】:

我有一个网站,每当进行任何股票交易时都会更新表格。内容显示在 web 表中,每个事务都是表中的一个新行。它按事务的时间戳排序。 我想以编程方式捕获对表所做的任何新更改。任何人都知道我如何实现这一目标

【问题讨论】:

  • 每 N 分钟抓取一次网站并检测新交易。
  • @sekhu,请提供带有表格的网站链接。
  • 我可以使用什么工具来抓取网站?该网站仅显示注册/付费用户的内容
  • 在您喜欢的搜索引擎中输入“java web scraping”。

标签: java selenium web-scraping


【解决方案1】:

主要步骤可能是:

  1. 每 N 分钟/小时刮一次表(如 Gilbert 所述)。
  2. 存储最新的时间戳(在您的数据库中),以便您仅解析比上一次抓取操作的时间戳年轻的记录。
  3. 您需要注意分页。不太可能所有 [新] 数据都在第一页。

【讨论】:

  • 我可以使用什么工具来抓取网站?
  • @sekhucool,你的意思是使用脚本语言以外的软件或服务吗?
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2017-03-06
  • 2018-11-16
  • 1970-01-01
  • 1970-01-01
  • 2019-12-11
  • 2013-06-17
  • 1970-01-01
相关资源
最近更新 更多