用硒刮擦。错误：“元素未附加到页面文档”答案

【问题标题】：Scraping with Selenium. Error: "element is not attached to the page document"用硒刮擦。错误：“元素未附加到页面文档”
【发布时间】：2021-10-29 08:48:07
【问题描述】：

我正在用 Python 中的 Selenium 抓取链接“https://www.kayak.it/flights/MIL-BCN/2021-09-01/2021-09-02/?sort=bestflight_a”。

当我运行代码时，我收到此错误，我不明白为什么（代码在几周前工作！）：“消息：过时的元素引用：元素未附加到页面文档（会话信息：无头铬=92.0.4515.159)"

按照我的代码：

wd = webdriver.Chrome('chromedriver',chrome_options=chrome_options)
link = 'https://www.kayak.it/flights/MIL-BCN/2021-09-01/2021-09-02/?sort=bestflight_a'
wd.get(link) 

import pprint 
detail_flights = [] 
for flight in list_flights:
    flights = ""

    if(len(flight.find_elements_by_css_selector(".mainInfo")) > 0):
       flights = flight.find_elements_by_css_selector(".mainInfo")[0].text 

    detail_flights.append({'flights': flights
                           })

len(detail_flights)
pprint.pprint(detail_flights[0:4])

【问题讨论】：

明确等待，然后重试。
list_flights 是什么？
对不起，这是 list_flights：list_flights = wd.find_elements_by_css_selector(".resultWrapper")

标签： python selenium web-scraping css-selectors

【解决方案1】：

似乎 mainInfo 类存在，但由于某种原因您找不到它。我建议使用隐式等待，例如

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, "mainInfo"))
    )

【讨论】：

感谢您的帮助。顺便说一句，我获得了这一行的错误“无效的 sitnax”：EC.element_to_be_clickable((By.CLASS_NAME "mainInfo"))
我误删了一个逗号，现在修复了

【解决方案2】：

我认为他们已经引入了动态接受 cookie，对于少数运行我们有 button[title='Accetta'] 并且对于我们运行我们得到了这个 button[id='onetrust-accept-btn-handler']，有两个尝试块来处理这个，我也做了一些修改来摆脱stale element. Baiscally 我在 for 循环中再次定义列表以摆脱陈旧的元素引用。

处理和抓取的示例代码：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

wd = webdriver.Chrome('chromedriver',chrome_options = chrome_options)
wd.maximize_window()
wd.implicitly_wait(50)
#driver.get("https://account.battle.net/creation/flow/creation-full")
wait = WebDriverWait(wd, 20)

link = 'https://www.kayak.it/flights/MIL-BCN/2021-09-01/2021-09-02/?sort=bestflight_a'
wd.get(link)
try:
    wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "button[title='Accetta']"))).click()
except:
    pass

try:
    wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "button[id='onetrust-accept-btn-handler']"))).click()
except:
    pass

detail_flights = []
j = 0
lngth = len(wd.find_elements_by_css_selector(".mainInfo"))
for i in range(lngth):
    try:
        if len(wd.find_elements_by_css_selector(".mainInfo")) > 0:
            elements = wd.find_elements_by_css_selector(".mainInfo")
            wd.execute_script("arguments[0].scrollIntoView(true);", elements[j])
            print(elements[j].get_attribute('innerText'))
            j = j + 1
            detail_flights.append(elements[j].get_attribute('innerText'))
        else:
            print('Nothing more to scrape')
    except:
        pass

输出：

BGY Bergamo Orio al Serio
‐
BCN Barcellona-El Prat
diretto
1h 35m
6:20 – 8:00
BCN Barcellona-El Prat
‐
BGY Bergamo Orio al Serio
diretto
1h 40m
22:20 – 23:55
BGY Bergamo Orio al Serio
‐
BCN Barcellona-El Prat
diretto
1h 35m
6:20 – 8:00
BCN Barcellona-El Prat
‐
BGY Bergamo Orio al Serio
diretto
1h 40m
16:35 – 18:05
LIN Aeroporto Milano Linate
‐
BCN Barcellona-El Prat
diretto
1h 30m
6:20 – 8:00
BCN Barcellona-El Prat
‐
BGY Bergamo Orio al Serio
diretto
1h 40m
12:35 – 14:05
MXP Aeroporto Malpensa
‐
BCN Barcellona-El Prat
diretto
1h 30m
6:20 – 8:00
BCN Barcellona-El Prat
‐
BGY Bergamo Orio al Serio
diretto
1h 40m
22:20 – 23:55
BGY Bergamo Orio al Serio
‐
BCN Barcellona-El Prat
diretto
1h 35m
11:35 – 13:05
BCN Barcellona-El Prat
‐
MXP Aeroporto Malpensa
diretto
1h 30m
22:20 – 23:55
BGY Bergamo Orio al Serio
‐
BCN Barcellona-El Prat
diretto
1h 35m
12:05 – 13:45
BCN Barcellona-El Prat
‐
BGY Bergamo Orio al Serio
diretto
1h 40m
16:35 – 18:05
LIN Aeroporto Milano Linate
‐
BCN Barcellona-El Prat
diretto
1h 30m
11:35 – 13:05
BCN Barcellona-El Prat
‐
MXP Aeroporto Malpensa
diretto
1h 30m
16:35 – 18:05
LIN Aeroporto Milano Linate
‐
BCN Barcellona-El Prat
diretto
1h 30m
12:05 – 13:45
BCN Barcellona-El Prat
‐
BGY Bergamo Orio al Serio
diretto
1h 40m
14:15 – 15:50
BGY Bergamo Orio al Serio
‐
BCN Barcellona-El Prat
diretto
1h 35m
6:20 – 8:00
BCN Barcellona-El Prat
‐
BGY Bergamo Orio al Serio
diretto
1h 40m
22:20 – 23:55
BGY Bergamo Orio al Serio
‐
BCN Barcellona-El Prat
diretto
1h 35m
20:15 – 21:55
BCN Barcellona-El Prat
‐
BGY Bergamo Orio al Serio
diretto
1h 40m
14:45 – 16:25
MXP Aeroporto Malpensa
‐
BCN Barcellona-El Prat
diretto
1h 40m
6:20 – 8:00
BCN Barcellona-El Prat
‐
BGY Bergamo Orio al Serio
diretto
1h 40m
10:05 – 11:45
MXP Aeroporto Malpensa
‐
BCN Barcellona-El Prat
diretto
1h 40m
6:20 – 8:00
BCN Barcellona-El Prat
‐
BGY Bergamo Orio al Serio
diretto
1h 40m
13:00 – 14:40
MXP Aeroporto Malpensa
‐
BCN Barcellona-El Prat
diretto
1h 40m
6:20 – 8:00
BCN Barcellona-El Prat
‐
BGY Bergamo Orio al Serio
diretto
1h 40m
16:35 – 18:05
LIN Aeroporto Milano Linate
‐
BCN Barcellona-El Prat
diretto
1h 30m
20:15 – 21:55
BCN Barcellona-El Prat
‐
BGY Bergamo Orio al Serio
diretto
1h 40m
22:20 – 23:55
BGY Bergamo Orio al Serio
‐
BCN Barcellona-El Prat
diretto
1h 35m
19:05 – 20:45
BCN Barcellona-El Prat
‐
LIN Aeroporto Milano Linate
diretto
1h 40m
16:35 – 18:05
LIN Aeroporto Milano Linate
‐
BCN Barcellona-El Prat
diretto
1h 30m
19:05 – 20:45
BCN Barcellona-El Prat
‐
LIN Aeroporto Milano Linate
diretto
1h 40m

Process finished with exit code 0

【讨论】：

非常感谢您的代码。我为行驱动程序 = webdriver.Chrome(driver_path) 获得错误“名称'driver_path'未定义”。抱歉打扰了，我是初学者。