【问题标题】:unable to parse a webpage using python无法使用python解析网页
【发布时间】:2019-02-23 13:10:50
【问题描述】:

我正在尝试解析下面的网页,以获取目前在交易所创下历史新高或低点的股票名称。

https://www.bseindia.com/markets/equity/EQReports/HighLow.html?Flag=H#

但是,当我使用美汤下载网页并检查数据时,我没有找到网页中提到的股票名称或价格。 我想写一个函数来下载每天创下历史新高的股票,请帮助我错过了什么?

【问题讨论】:

  • 请展示您的尝试并解释具体问题。

标签: python beautifulsoup html-parsing


【解决方案1】:

页面上的部分 HTML 是由 JavaScript 动态生成的。您很可能在使用 requests 库,它无法处理以这种方式生成的 HTML。

相反,您可以使用 Selenium 库,它允许您启动由 Python 控制的 Web 浏览器实例,并从那里获取页面源代码。

from selenium import webdriver

path = '...' # path to driver here
url = 'https://www.bseindia.com/markets/equity/EQReports/HighLow.html?Flag=H#'

driver = webdriver.Chrome(path)
page_source = driver.get(url).page_source

通过解析page_sourceBeautifulSoup,你可以得到你想要的。

【讨论】:

  • 感谢您的快速响应,但是该页面中有 2 页,因此使用上述方法,一页上有 25 个股票,另一页上有 25 个股票,我只能解析第一页,如果我点击第二页,请帮助我如何解决这个问题?
  • 这是一个单独的问题,我认为@AnandShukla
猜你喜欢
  • 2020-09-02
  • 2015-09-08
  • 1970-01-01
  • 2012-10-04
  • 2017-09-09
  • 1970-01-01
  • 2021-08-20
  • 2023-04-01
  • 1970-01-01
相关资源
最近更新 更多