Python Selenium ChromeDriver 不等待页面加载

Question

我有一组 Web 抓取工具，旨在使用 Selenium ChromeDriver 在 Python 3.6 中运行。它们都运行得非常完美。

本周我将 Selenium 更新到 v2.8，将 ChromeDriver 更新到 v2.34。

立即，刮板无法正常工作并在爬行的早期崩溃。

我有一个sys.stdout 的小实现，它同时输出到 .txt 和控制台，所以我开始注意到错误是这样的：

Message: no such frame
(Session info: chrome=63.0.3239.108)
(Driver info: chromedriver=2.34.522940 
(1a76f96f66e3ca7b8e57d503b4dd3bccfba87af1),platform=Windows NT 10.0.15063 x86_64)

或

Message: no such element: Unable to locate element: 
{"method":"name","selector":"txtClave"}
(Session info: chrome=63.0.3239.108)
(Driver info: chromedriver=2.34.522940 
(1a76f96f66e3ca7b8e57d503b4dd3bccfba87af1),platform=Windows NT 10.0.15063 x86_64)

Message: no such element: Unable to locate element: 
{"method":"xpath","selector":"//*[@id="ctl00_cp_wz_ddlTarjetas"]/option[2]"}
(Session info: chrome=63.0.3239.108)
(Driver info: chromedriver=2.34.522940 
(1a76f96f66e3ca7b8e57d503b4dd3bccfba87af1),platform=Windows NT 10.0.15063 x86_64)

Message: no such element: Unable to locate element: 
{"method":"xpath","selector":"//*[@id="ctl00_cp_wz_ddlTarjetas"]/option[3]"}
(Session info: chrome=63.0.3239.108)
(Driver info: chromedriver=2.34.522940 
(1a76f96f66e3ca7b8e57d503b4dd3bccfba87af1),platform=Windows NT 10.0.15063 x86_64)

Message: no such element: Unable to locate element: 
{"method":"xpath","selector":"//*[@id="ctl00_cp_wz_ddlTarjetas"]/option[4]"}
(Session info: chrome=63.0.3239.108)
(Driver info: chromedriver=2.34.522940 
(1a76f96f66e3ca7b8e57d503b4dd3bccfba87af1),platform=Windows NT 10.0.15063 x86_64)

之后通常会出现以前从未出现过的 ChromeDriver 崩溃 Windows 消息：chromedriver.exe has stopped working。

在查看 Chrome 窗口时，通过调试，我怀疑错误是在应该让蜘蛛等待页面加载的行引起的，但它没有等待，所以它无法找到元素。

导致错误的行示例：

self.driver.find_element_by_name('txtUsuario').send_keys(user + Keys.RETURN)
self.driver.find_element_by_name('txtClave').send_keys(passwd + Keys.RETURN)

...

self.driver.switch_to.default_content()
self.driver.switch_to_frame('Fmenu')
self.driver.find_element_by_xpath(XPATH_POSICIONGLOBAL).click()

发现它太难过（基本上是投降）而无法通过向每个要交互的​​元素添加显式等待来故障转移（可能是因为我有超过一百个？）。

我希望有人能帮助我找出可能导致整个工作蜘蛛无法在这些新版本的 ChromeDriver / Selenium 中爬行的原因，并解决此问题的代码优雅且易于实施的解决方案。

例如，我尝试将 implicitly_wait 附加到 WebDriver 会话，但它根本不起作用。

def __init__(self):
    self.driver = webdriver.Chrome(PATH_WEBDRIVER)
    self.driver.implicitly_wait(10)

最后，我使用 IDLE 一次运行了两个失败的蜘蛛 1 行，它可以工作！那么......为什么它不能在常规的 Spider 执行中工作?????

非常感谢提前

Answer 1

让我尝试一一解决您的错误：

• 消息：没有这样的框架：如果您尝试在框架可用之前切换到该框架，则可能会出现此错误。在这种情况下，您需要使用匹配的expected_conditions 来诱导WebDriverWait，以便<iframe> 可用于切换。

您可以在How can I select a html element no matter what frame it is in in selenium?找到详细讨论

• 消息：没有这样的元素：无法定位元素：如果您尝试与之交互的 WebElement 不是 ，则可能会出现此错误呈现、可见、可点击或可交互。在这种情况下，您需要用匹配的expected_conditions 诱导WebDriverWait。以下是广泛使用的方法列表：

  class selenium.webdriver.support.expected_conditions.presence_of_element_located(locator)        
  class selenium.webdriver.support.expected_conditions.visibility_of_element_located(locator)
  class selenium.webdriver.support.expected_conditions.element_to_be_clickable(locator)
  

• chromedriver.exe 已停止工作：如果您的系统 JDK 版本、Selenium 版本、@987654328，则会出现此错误@版本和google-chrome版本不兼容，不同步。

• self.driver.find_element_by_name('txtUsuario').send_keys(user + Keys.RETURN) : 尝试分两步分解线路：

  self.driver.find_element_by_name('txtUsuario').send_keys(user)
  self.driver.find_element_by_name('txtUsuario').send_keys(Keys.RETURN)
  

• self.driver.implicitly_wait(10)：尝试摆脱Implicit Wait。为了使领先的WebDriver 实例与尾随的Web 客户端 保持同步，我们必须使用WebDriverWait，即ExplicitWait。但是你不应该混淆Implicit Wait 和ExplicitWait。请参阅下面的注释：

注意：Selenium Documentation 明确提到 - WARNING: Do not mix implicit and explicit waits. Doing so can cause unpredictable wait times. For example setting an implicit wait of 10 seconds and an explicit wait of 15 seconds, could cause a timeout to occur after 20 seconds.

---

结论

如果要求只是抓取/抓取网页，请使用 BeautifulSoup 抓取/抓取并仅使用 Selenium 浏览页面。