【问题标题】:How to scraper or crawler dynamic value?如何抓取或爬取动态值?
【发布时间】:2018-01-26 14:14:56
【问题描述】:

我有一些问题,我尝试在图像下抓取一些数据。

本网站不断变化。它似乎在不断地获取动态数据。

当然,您可以在一定的时间内执行此操作(例如,每 5 秒获取一次数据)

我认为浪费了很多资源。

我们使用 chrome 的开发者工具查看了网络,但没有改变。

但是,数据仍在更新中。

在这种情况下,有没有办法每隔几秒检查一次数据?

我不能像观察者模式一样继续观察那部分吗?

【问题讨论】:

  • 你说的网站是什么?
  • @MarioNikolaus this Page
  • 提供可以找到此元素的确切网址,我无法浏览整个页面来帮助您:)
  • @MarioNikolaus 我很抱歉我的愚蠢评论,Please look this link 但是,这个数据表只会在证券市场运行时更新。

标签: node.js phantomjs web-crawler casperjs scraper


【解决方案1】:

本网站使用 websockets...

如果您在 Chrome 中的网络选项卡下过滤 WS,您可以检查 websocket 流量。然后选择您要检查的套接字连接并检查帧。

话虽如此,PhantomJS 对此提供了古怪的支持,所以我猜你最好的选择是在某个时间间隔内抓取数据......

【讨论】:

  • 愚蠢的问题,但很好的答案真的谢谢你,问候
猜你喜欢
  • 1970-01-01
  • 2012-06-14
  • 1970-01-01
  • 2011-03-07
  • 2019-10-27
  • 2021-01-31
  • 1970-01-01
  • 1970-01-01
  • 2012-01-09
相关资源
最近更新 更多