Selenium 在按钮单击后不显示表格内容

Question

我正在尝试从以下 url 下载多个 csv 文件，并希望使用 selenium 或任何其他方法。该网址需要填写一个表格，其中包括从多个下拉列表中选择选项。然后，需要单击“图像”按钮才能显示下载链接。 如果我从 python 运行 selenium chrome 驱动程序并单击按钮，则不会出现任何内容。我也无法弄清楚 csv 文件的 url，因此可以使用“requests”或“urllib”下载它们。

这是我需要下载的网址： https://www1.nseindia.com/products/content/derivatives/equities/historical_fo.htm

到目前为止，这是我的代码：

from selenium import webdriver
from selenium.webdriver.support.ui import Select
from webdriver_manager.chrome import ChromeDriverManager

driver = webdriver.Chrome(ChromeDriverManager().install())

url = 'https://www1.nseindia.com/products/content/derivatives/equities/historical_fo.htm'
driver.get(url)
instr_type = Select(driver.find_element_by_id('instrumentType'))
symbol = Select(driver.find_element_by_id('symbol'))
opt_type = Select(driver.find_element_by_id('optionType'))
date_range = Select(driver.find_element_by_id('dateRange'))
button = driver.find_element_by_xpath("//input[@src='/common/images/btn-get-data.gif' and @type='image']")

instr_type.select_by_visible_text('Index Options')
symbol.select_by_visible_text('NIFTY 50')
opt_type.select_by_visible_text('CE')
date_range.select_by_visible_text('90 Days')
button.click()

这就是 selenium 驱动程序中发生的事情 -

关于如何从上面的链接下载 csv 文件有什么想法吗？不一定必须使用硒。

Answer 1

我不知道如何解决 Selenium 的问题，但我现在如何解决 requests 和 BeautifulSoup 的问题

此页面将表单中的选项作为值直接发送到此 URL 中（而不是 POST）

https://www1.nseindia.com/products/dynaContent/common/productsSymbolMapping.jsp

然后服务器发回HTML 和表以及<div id="csvContentDiv"> 中的所有数据。
此标签的所有数据都已格式化为文本格式以保存在 csv 中 - 它只需将 : 替换为 \n

---

编辑：

有时服务器会给我Status 405 Method Not Allowed，所以我添加了requests.Session() 来获取cookie，也许它会更好。

---

import requests
from bs4 import BeautifulSoup

session = requests.Session()
session.headers.update({'User-Agent': 'Mozilla/5.0'})

# --- main page ---
url = 'https://www1.nseindia.com/products/content/derivatives/equities/historical_fo.htm'
r = session.get(url)
#print(r.status_code)

# --- table ---

url = 'https://www1.nseindia.com/products/dynaContent/common/productsSymbolMapping.jsp'

payload = {
    'instrumentType': 'OPTIDX',
    'symbol': 'NIFTY',
    'expiryDate': 'select',
    'optionType': 'CE',
    'strikePrice': '',
    'dateRange': '3month', 
    'fromDate': '',
    'toDate': '',
    'segmentLink': '9',
    'symbolCount':'',
}

r = session.get(url, params=payload)
#print(r.text)

soup = BeautifulSoup(r.text, 'html.parser')
data = soup.find('div', {'id': 'csvContentDiv'})
#print(data.text)
data = data.text.replace(':', '\n')

with open('output.csv', 'w') as fh:
    fh.write(data)

print(data)

如果你不使用真正的User-Agent，服务器不会发送数据 - 至少是短的'Mozilla/5.0'

---

我在 Firefox/Chrome 中使用DevTools 找到了这个网址，标签Network。后来我从这个 url 得到响应并手动检查我得到的结果，我发现了 csv 数据。但我预计我必须在此响应中从 HTML 表中抓取数据。