【问题标题】:Scrape dynamic data using scrapy [closed]使用scrapy抓取动态数据[关闭]
【发布时间】:2019-12-25 16:27:06
【问题描述】:

我想使用 scrapy(连同其他数据)从 nasdaq 网站上抓取股票期权链

纳斯达克最近更新了他们的网站。 Here 就是我说的网址。

数据不是用普通蜘蛛和scrapy shell加载的。从scrapy docs,我需要使用scrapy-splash 或scrapy-selenium。

在投入时间之前,我想知道哪种工具最适合这项工作。或者还有什么推荐的?

谢谢!

【问题讨论】:

标签: python selenium web-scraping scrapy scrapy-splash


【解决方案1】:

对于该任务,您不需要 selenium 或 splash。相反,您可以在 chrome 开发人员工具中检查网络选项卡。

站点发出额外请求以从以下端点获取数据: https://api.nasdaq.com/api/quote/MSFT/option-chain?assetclass=stocks&limit=0

干杯

【讨论】:

  • 没想到。非常感谢!
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-04-22
  • 1970-01-01
  • 1970-01-01
  • 2015-08-17
  • 2013-05-23
相关资源
最近更新 更多