如何使用 Selenium 阅读 youtube 评论？

Question

我正在尝试使用以下代码阅读 youtube 视频 cmets：

FirefoxDriver driver = new FirefoxDriver();
driver.get("https://www.youtube.com/watch?v=JcbBNpYkuW4");

WebElement element = driver.findElementByCssSelector("#watch-discussion");
System.out.println(element.getText()); // this prints: loading..

// scrolll down so that comments start to load
driver.executeScript("window.scrollBy(0,500)", "");

Thread.sleep(10000);

element = driver.findElementByCssSelector("#watch-discussion");
System.out.println(element.getText());

最后一条语句打印一个空字符串。为什么？

Answer 1

我建议您尝试this API，它非常简单/可靠，而不是依赖元素的 X 路径。此外，您不能依赖 Xpath 来获取动态页面/内容。

Answer 2

这有点棘手，因为所有的 cmets 都写在 watch 讨论中的一个单独的 iframe 标记中。您必须先使用 driver.switchTo().frame("put ID or Name here");但 iframe id 是随机值。切换到该 iframe 后，您可以在 div 中找到类名为“Ct”的所有 cmets，以便您可以使用 XPATH 获取这些 cmets。请参阅下面的工作代码

FirefoxDriver driver = new FirefoxDriver();
driver.get("https://www.youtube.com/watch?v=JcbBNpYkuW4");

WebElement element = driver.findElementByCssSelector("#watch-discussion");
System.out.println(element.getText()); // this prints: loading..

// scrolll down so that comments start to load
driver.executeScript("window.scrollBy(0,500)", "");

Thread.sleep(20000);

List<WebElement> iframes = driver.findElements(By.xpath("//iframe"));

for(WebElement e : iframes) {       
    if(e.getAttribute("id") != null && e.getAttribute("id").startsWith("I0_")) {
    // switch to iframe which contains comments
    driver.switchTo().frame(e);
    break;
    }
}

// fetch all comments
List<WebElement> comments = driver.findElements(By.xpath("//div[@class='Ct']"));
for(WebElement e : comments) {      
    System.out.println(e.getText());
}