【发布时间】:2019-09-18 11:11:43
【问题描述】:
我正在尝试使用 selenium 和 Beautiful Soup 抓取 LinkedIn 网站。 这个想法很简单,我从公司的 LinkedIn 网站开始,然后转到公司搜索并滚动到页面底部以获取页面上的所有结果。
但是因为Linkedin每页只提供10人,所以我需要在该页面上找到下一个按钮才能转到接下来的10人。
我用这个代码
browser.find_element_by_class_name('next')
Traceback(最近一次调用最后一次):文件“LinkedInWebcrawler2019.py”, 第 71 行,在 nextt = browser.find_element_by_class_name('next') 文件 "C:\Users\Afdal\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\webdriver.py", 第 564 行,在 find_element_by_class_name 中 return self.find_element(by=By.CLASS_NAME, value=name) 文件“C:\Users\Afdal\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\webdriver.py”, 第 978 行,在 find_element 中 'value': value})['value'] 文件 "C:\Users\Afdal\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\webdriver.py", 第 321 行,在执行中 self.error_handler.check_response(response) 文件 "C:\Users\Afdal\AppData\Roaming\Python\Python37\site-packages\selenium\webdriver\remote\errorhandler.py", 第 242 行,在 check_response 中 raise exception_class(message, screen, stacktrace) selenium.common.exceptions.NoSuchElementException: Message: no such 元素:无法找到元素:{“方法”:“css selector","selector":".next"} (会话信息:chrome=77.0.3865.75)
有什么想法吗?
【问题讨论】:
-
欢迎来到 SO。请花时间阅读如何提问。它将帮助您提出可靠的问题,这些问题有望得到有用的答案。也许被测网站阻止了你,因为你正在抓取他们的网站......
标签: selenium selenium-webdriver web-scraping selenium-chromedriver linkedin