没有这样的元素：无法找到元素：网络抓取 Youtube 评论时

Question

我正在尝试使用 selenium 获取 youtube cmets，但出现错误。任何人都可以帮我解决这个问题。

from selenium import webdriver
import time

driver=webdriver.Chrome()
driver.get("https://www.youtube.com/watch?v=MNltVQqJhRE")
time.sleep(10)
D=driver.find_element_by_xpath('//yt-formatted-string[@id="content-text"]')
print(D.text)

我明白了

raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"//yt-formatted-string[@id="content-text"]"}

它适用于这段代码。但它没有抓取所有的 cmets。我在堆栈溢出中找到了这段代码。

driver=webdriver.Chrome()

driver.get('https://www.youtube.com/watch?v=iFPMz36std4')

driver.execute_script('window.scrollTo(1, 500);')

#now wait let load the comments
time.sleep(5)

driver.execute_script('window.scrollTo(1, 3000);')



comment_div=driver.find_element_by_xpath('//*[@id="contents"]')
comments=comment_div.find_elements_by_xpath('//*[@id="content-text"]')
for comment in comments:
    print(comment.text)

Answer 1

您的问题是该 ID 不存在（至少对我而言不存在）。找到一个ID。如果您使用的是chrome，只需右键单击元素（检查后），然后复制xpath即可获取元素的xpath。

Answer 2

浏览器需要等到文档准备好。最佳时间点约为 4500 毫秒。然后，您可以将 cmets 部分滚动到视图中并等待它滚动大约 3000 毫秒。在此之后，#context-text 将就在 DOM 中。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait as wait

driver = webdriver.Chrome()
url="https://www.youtube.com/watch?v=MNltVQqJhRE"
driver.get(url)

wait(driver, 4500)

driver.execute_script("window.scrollTo(0, document.body.scrollHeight + 500);")
driver.implicitly_wait(3000)

content = driver.find_element_by_xpath('//yt-formatted-string[@id="content-text"]')                                          

print(content.text)