Selenium 运行 chrome 的行为与真正的 Chrome 不同答案

【问题标题】：Selenium running chrome does not behave the same as in real ChromeSelenium 运行 chrome 的行为与真正的 Chrome 不同
【发布时间】：2017-09-27 03:24:33
【问题描述】：

我正在使用 Selenium 渲染网页，然后进行内容提取。但是，我发现 selenium 返回的结果与我使用 Chrome DevTools 得到的不同。

我使用的python代码很简单：

driver = webdriver.Chrome() #.PhantomJS()

driver.get(url)
content = driver.page_source.encode('utf-8')

基本上，我发现我正在查看的字段大部分时间都不会从 Selenium 结果中显示出来。它有时确实有效，但在大多数情况下，它只是无法呈现真正的 Chrome 浏览器所做的事情。我正在使用 Macbook Pro。谢谢~

【问题讨论】：

那么你的问题是什么？您没有任何关于您正在尝试做什么的详细信息或问题的实际陈述。

标签： google-chrome selenium automated-tests html-parsing webpage-rendering

【解决方案1】：

page_source 只会为您提供如果您右键单击并点击 View Page Source 会得到的内容，这就是原始文档的内容。通过 javascript 等动态加载的任何内容都不会包含在内。如果你想把它全部放在硒中，你可以这样做：

driver.find_element_by_css_selector('body').get_attribute('outerHTML')

【讨论】：

谢谢！它工作得更好！我发现的一件事是，如果我多次重新运行该作业，它有时会返回正确的结果，有时则不会。我在考虑网站限制，但如果我只是浏览器并保持刷新，它就不会发生。