是否有不需要 Web 驱动程序或浏览器来操作的 Selenium 替代品？我最近将我的代码移到了一个谷歌云虚拟机实例上，当我运行它时出现了多个错误。我一直试图让它工作几个小时，但就是不能（PhantomJS、Chrome 和 GeckoDriver 运气不好——尝试重新下载浏览器、编辑 sources.list 文件等）。
我正在抓取的页面使用 JavaScript 加载数字，我最初选择的是 Selenium。其他一切都完美无缺！
【问题讨论】：
标签： python selenium web-scraping google-cloud-platform webdriver
您可以简单地使用请求库。
https://requests.readthedocs.io/en/master/
https://anaconda.org/anaconda/requests
然后您需要向服务器发送 GET 或 POST 请求。
如果您不知道如何生成正确的 POST 请求，只需尝试“记录”它即可。
如果您有 chrome，进入您要导航的页面，按 F12，导航到“网络”部分并将方法：POST 写入过滤器。
更多信息在这里： https://stackoverflow.com/a/39661536/11971785
起初它比 selenium 更令人困惑，但一旦你理解它，我认为它会更好。
此外，页面上显示的 Java 值通常可以简单地从您的请求返回的 Java 代码中读取。
无需网络驱动程序或任何需要的东西，而且更加稳定和可定制。
【讨论】：