使用 python/javascript 浏览网页？

Question

我正在开发一个需要来自某些网页的信息的程序。目前，我通过下载源代码并解析它（在 Python 中使用正则表达式）来获取信息。但是，我可以使用更具体/更好的数据，但它需要“用户”登录和一些页面导航。 （不能只通过输入 URL 来访问包含数据的页面）

我可以编写 javascript/jquery 来模拟登录并单击导航到这些页面所需的内容。但目前我只能通过在 chrome 中定位并在每个页面上拉起 chrome javascript 控制台来“运行”它。有没有办法纯粹在 Python 中模拟浏览器导航，所以我可以自动化这个任务？ （此外，该页面似乎没有任何类型的验证码或反机器人安全性，这应该不是问题）

Answer 1

您可以查看一些浏览器自动化工具，例如Selenium。它主要用于网站测试，但你也可以用它提取信息，然后在python中处理。

这里是another thread，关于从 python 中使用它。