【发布时间】:2021-06-02 02:03:36
【问题描述】:
所以我有这个在本地完美运行的 selenium 项目,它只是一个从网站上抓取数据的脚本。我成功地将脚本部署到 heroku 中,但是当我尝试激活它时,它显示了这些错误。
它给出了一个错误,它无法找到它应该从网站上抓取的一些 xpath 元素。 这是它显示的错误
引发异常类(消息、屏幕、堆栈跟踪) selenium.common.exceptions.NoSuchElementException:消息:没有这样的元素:无法找到元素:{"method":"xpath","selector":"//button[@class='_cs_button _cs_button--sm _cs_button--positive _cs_m-down--none']"} (会话信息:headless chrome=91.0.4472.77)
之后我决定在代码尝试查找元素之前打印网站的源代码,因为我认为可能元素不存在所以它找不到它们,结果证明它的 js从网站收到的内容没有被激活,因此之后没有收到 html。
我几乎不明白为什么在 heroku 上激活脚本时不会激活从网站收到的 js
有人可以帮我解决这个问题
【问题讨论】:
-
应该只是个警告?
标签: python selenium heroku web-scraping