如何使用 Selenium 动态化页面内容（LinkedIn 搜索）答案

【问题标题】：How to dynamic content of a page (LinkedIn search) with Selenium如何使用 Selenium 动态化页面内容（LinkedIn 搜索）
【发布时间】：2020-08-22 19:34:55
【问题描述】：

某些页面会在用户滚动超过某个阈值后加载内容。为了例如，LinkedIn.com 的搜索栏返回一个页面，其中最初只有 前 4-6 个结果出现在 HTML 中。实际上，当您向下滚动时，嵌入的 javascript 将加载额外的配置文件以显示总共 10-12 个结果。

因此，如果我想使用 Selenium 获取页面中的所有配置文件，我需要模拟用户的滚动操作。我尝试使用driver.execute_script("window.scrollTo(0,1000);")，但这似乎只在驱动程序在活动窗口中运行时才有效。如果我的驱动程序在后台运行，Javascript 将不会加载其他配置文件。

有没有办法强制 javascript 加载所有元素？我试过driver.execute_script("window.focus();") 无济于事。谢谢！

【问题讨论】：

标签： python selenium web-scraping web-crawler selenium-chromedriver

【解决方案1】：

这是我用过的，似乎对我有用。我用它来链接网页抓取。

for i in range(5000):
    browse = "window.scrollTo(0," + str(i) + ")"
    browser.execute_script(browse)
    i = i + 400

希望对你有所帮助！

【讨论】：