Python Selenium Scraping twitter 无限加载页面答案

【问题标题】：Python Selenium Scraping twitter infinite loading pagePython Selenium Scraping twitter 无限加载页面
【发布时间】：2021-02-09 09:13:00
【问题描述】：

代码如下：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time

drive = "******/chromedriver"
driver = webdriver.Chrome(executable_path=drive)
print(driver.execute_script("return navigator.userAgent;"))

driver.get("https://twitter.com/login")
time.sleep(3)
username = driver.find_element_by_name("session[username_or_email]")
username.send_keys('******@****.com')
time.sleep(3)
password = driver.find_element_by_name('session[password]')
time.sleep(3)
password.send_keys('*******')
password.send_keys(Keys.RETURN)
time.sleep(3)
driver.get("https://twitter.com/********/media")
time.sleep(3)

videos = driver.find_elements_by_xpath('//video[@preload="auto"]')
sources = [video.get_attribute('src') for video in videos]
print(sources)
scroll_page = driver.execute_script('return document.body.scrollHeight')

但是当我重复“sources”和“scroll_page”时，我得到了错误：selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attach to the page document

即使页面已滚动到下一个，我也只能从视频标签中获取前 7 个 url src。

如果本代码或目标站点或本网站规则中有禁止内容，我深表歉意。

非常感谢各位的帮助！

【问题讨论】：

标签： javascript python selenium infinite-scroll

【解决方案1】：

添加等待功能：

driver.implicitly_wait(10) #seconds

这将使驱动程序等待查找您想要查找的元素，我相信问题是当您滚动元素时会变旧并发生变化，或者您在 selenium 定位元素之前滚动。

因此，您可能希望通过检查元素查看滚动时发生的情况。

还有更多答案here 可能对您有所帮助。

【讨论】：