【问题标题】:Selenium/ChromeDriver Timeout Exception when Webscraping网页抓取时 Selenium/ChromeDriver 超时异常
【发布时间】:2015-09-28 16:12:49
【问题描述】:

我已经建立了一个抓取网址的网络爬虫。它偶尔会出现问题(并非一直发生)。我在代码的这个特定部分得到了TimeOutException:

tries = 0
while tries<1000:
    try:  
        domain=wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "cite._Rm")))
        domain = domain.text
        break
        except StaleElementReferenceException:
            tries+=1
            self.browser.refresh()

错误:

文件“”,第 389 行,在 findDomains 中 domain=wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "cite._Rm"))) 文件“”,第 78 行,直到 raise TimeoutException(message, screen, stacktrace) TimeoutException: Message:

【问题讨论】:

  • 您在问题中显示的代码不会运行。

标签: python selenium selenium-webdriver selenium-chromedriver


【解决方案1】:

由于您已经多次尝试将其包裹在 while 块中,因此只需处理 TimeoutException:

try:  
    domain=wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "cite._Rm")))
    domain = domain.text
    break
except (StaleElementReferenceException, TimeoutException):
    tries+=1
    self.browser.refresh()

请注意,如果不能重现问题,或者至少有指向目标网页的链接,而您所描述的偶尔会出现问题,则很难说更多。

【讨论】:

    【解决方案2】:

    由于在超时期间未找到元素而导致超时异常,请尝试增加它或刷新页面,如下面的代码所示

    tries = 0
    while tries<1000:
        try:  
            domain=WebdriverWait(self.browser, timeout=10).until(
                 EC.presence_of_element_located((By.CSS_SELECTOR, "cite._Rm"))
            )
            domain_text = domain.text
            break
        except TimeoutException:
            tries+=1
            self.browser.refresh()
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-06-22
      • 2021-02-25
      • 2017-04-19
      • 1970-01-01
      • 2020-07-02
      相关资源
      最近更新 更多