Excel 通过 selenium driver.get url (csv) 加载到 pandas？答案

【问题标题】：Excel loading in to pandas via the selenium driver.get url (csv)?Excel 通过 selenium driver.get url (csv) 加载到 pandas？
【发布时间】：2021-03-08 09:08:56
【问题描述】：

我必须关注问题，是的，我对 python 很陌生.. 但是在阅读了大量页面后，io 找不到针对我的具体情况的任何解决方案。

1：使用 Selenium 登录网站的安全部分
2：在网站的安全部分，我找到了一个特定的 .csv（链接）
3：我有一个链接 = www.test.com/bla/bla/test.csv 如果我使用 driver.get(link) 并使用链接，浏览器会将 .csv 文件下载到我的计算机。
4：我想将 .csv 文件直接加载到 pandas 中。但是当我使用 pd.read_csv(link) 我得到： HTTP 错误 403：禁止 据我了解，这是因为 URL 位于安全登录和我试图自行连接到它的 pandas 的后面。

我的问题，如何将 .csv 从 driver.get 函数加载到 pandas。

我想加载 .csv 更改一些格式并将其加载到数据库表中，因此除了 pandas 之外，我还可以使用其他选项，在这种情况下效果更好。

【问题讨论】：

尝试使用这个项目pypi.org/project/selenium-requests，它与您的驱动程序相连，并允许您获得API调用的响应

标签： python pandas selenium csv authentication

【解决方案1】：

使用https://pypi.org/project/selenium-requests/ 解决方案我得到了修复。

link = 安全登录背后的抓取链接（'www.test.com/folder/test.csv'）
r = webdriver.request('GET',link)
数据 = r.content
c=pd.read_csv(io.StringIO(data.decode('utf-8')))

谢谢！！！

【讨论】：

【解决方案2】：

使用selenium-requests 包，它会为您完成工作

https://pypi.org/project/selenium-requests/

# login to website using selenium
link = 'www.example.com/folder/test.csv' # behind the secure login
r = webdriver.request('GET',link)
data = r.content
c = pd.read_csv(io.StringIO(data.decode('utf-8')))

【讨论】：