【问题标题】:Cant fint next button on linkedin在linkedin上找不到下一个按钮
【发布时间】:2019-09-18 11:11:43
【问题描述】:

我正在尝试使用 selenium 和 Beautiful Soup 抓取 LinkedIn 网站。 这个想法很简单,我从公司的 LinkedIn 网站开始,然后转到公司搜索并滚动到页面底部以获取页面上的所有结果。

但是因为Linkedin每页只提供10人,所以我需要在该页面上找到下一个按钮才能转到接下来的10人。

我用这个代码

browser.find_element_by_class_name('next')

Traceback(最近一次调用最后一次):文件“LinkedInWebcrawler2019.py”, 第 71 行,在 nextt = browser.find_element_by_class_name('next') 文件 "C:\Users\Afdal\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\webdriver.py", 第 564 行,在 find_element_by_class_name 中 return self.find_element(by=By.CLASS_NAME, value=name) 文件“C:\Users\Afdal\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\webdriver.py”, 第 978 行,在 find_element 中 'value': value})['value'] 文件 "C:\Users\Afdal\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\webdriver.py", 第 321 行,在执行中 self.error_handler.check_response(response) 文件 "C:\Users\Afdal\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\errorhandler.py", 第 242 行,在 check_response 中 raise exception_class(message, screen, stacktrace) selenium.common.exceptions.NoSuchElementException: Message: no such 元素:无法找到元素:{“方法”:“css selector","selector":".next"} (会话信息:chrome=77.0.3865.75)

有什么想法吗?

【问题讨论】:

  • 欢迎来到 SO。请花时间阅读如何提问。它将帮助您提出可靠的问题,这些问题有望得到有用的答案。也许被测网站阻止了你,因为你正在抓取他们的网站......

标签: selenium selenium-webdriver web-scraping selenium-chromedriver linkedin


【解决方案1】:

试试这个寻找下一个按钮。

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By


       Next =WebDriverWait(driver, 10).until(EC.element_to_be_clickable(By.XPATH,'//*[contains(@class,'button')'))
       Next.click()

【讨论】:

  • 我收到了这个错误 selenium.common.exceptions.ElementClickInterceptedException: 消息:元素点击被拦截:元素 ... 点不可点击( 780、266)。其他元素会收到点击:
    ...
    有什么想法吗?
  • 收件箱聊天窗口似乎阻碍了单击下一步按钮。查看更新的答案 - 添加了动态等待。
猜你喜欢
  • 2022-11-04
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-04-03
相关资源
最近更新 更多