网页抓取：像 Chrome 一样更新数据？

Question

我遇到的所有关于 Python 网页抓取的文章都引用了 BeautifulSoup 和 Selenium 作为从网页中检索 HTML 和 JavaScript 内容的主要工具。

但是，我还没有找到一种方法来自动更新从同一网页接收到的数据，而无需向其发送新请求。

在 Python 中是否不可能像使用 Google Chrome 一样，即简单地打开一个网页并查看它由主机本身自动更新？

Answer 1

是的，这是可能的。例如，如果内容是使用 JavaScript 动态修改的，您可以循环下载 DOM 树的元素。您还可以调用自己的 JavaScript 来执行特定操作。或者，您甚至可以编写和上传您自己的浏览器插件。总的来说，在 selenium 中你可以很大程度上控制浏览器，就像普通用户一样，不需要再次刷新页面。