使用 Python Selenium 进行网页抓取答案

【问题标题】：WebScraping with Python Selenium使用 Python Selenium 进行网页抓取
【发布时间】：2020-03-13 18:29:36
【问题描述】：

我正在尝试对法兰克福汇报档案进行 WebScraping。我需要点击“erweiterte suche”按钮，但我不断收到以下错误

消息：没有这样的元素：无法找到元素：{"method":"xpath","selector":"//*[@id="g_00271e6200ad4985a0a9c8f9b0032c42"]"}。

我的代码在这里：

import os
import requests
import openpyxl
import smtplib
import time

from selenium import webdriver

driver.get("https://fazarchiv.faz.net")

search_elem = driver.find_element_by_xpath("""//*[@id="searchForm"]/div[1]/input""")
search_elem.click()
search_elem.send_keys('Bürokratie')

erweiterte_suche = driver.find_element_by_xpath("""//*[@id="g_00271e6200ad4985a0a9c8f9b0032c42"]""")
erweiterte_suche.click()

我做错了什么？

【问题讨论】：

我建议不要完全使用 selenium，因为它不再更新。太陈旧了
@AnonumousPomp 你是什么意思？ Selenium 是自主交互的事实标准。
哎呀，我在想 phantomjs。对不起！！

标签： python html selenium web-scraping

【解决方案1】：

ID 是动态的，每次加载网站时都会更改。改用类

erweiterte_suche = driver.find_element_by_xpath('//*[@class="boxExtendedSearch ext-hidden globalArrowRedRight"]')

【讨论】：

【解决方案2】：

试试这个：

erweiterte_suche = driver.find_element_by_xpath("//div[@class='clearfix']/a[1]")

或者这个：

erweiterte_suche = driver.find_element_by_xpath("//a[text()='erweiterte Suche']")

【讨论】：

【解决方案3】：

我猜，你想点击“Suche”按钮。灰色的。

所以你可以搜索“Bürokratie”这个词。

您的代码也缺少部分。喜欢驱动设置。

这段代码对我有用，你可以使用：

    from selenium import webdriver
    driver = webdriver.Firefox()

    driver.get("https://fazarchiv.faz.net")

    search_elem = driver.find_element_by_xpath("""//*[@id="searchForm"]/div[1]/input""")
    search_elem.click()
    search_elem.send_keys('Bürokratie')

    erweiterte_suche = driver.find_element_by_css_selector("""#searchForm > div.boxRow.clearfix > input""")
    erweiterte_suche.click()

【讨论】：