滚动到底部后获取动态加载的 HTML

Question

我有以下代码：

import java.io.IOException;

import com.machinepublishers.jbrowserdriver.JBrowserDriver;
import com.machinepublishers.jbrowserdriver.Settings;
import com.machinepublishers.jbrowserdriver.Timezone; 

public class ReadMovies {

    public static void main(final String[] args) throws IOException {
        final JBrowserDriver driver = new JBrowserDriver(Settings.builder().timezone(Timezone.AMERICA_NEWYORK).build());
        driver.get("http://www.cinesift.com/#/");

        driver.executeScript("window.scrollTo(0, document.body.scrollHeight)");

        System.out.println(driver.getPageSource());

        driver.quit();
    }
}

但是，executeScript() 似乎没有任何效果 - 程序仍然会在页面首次加载时打印原始源（因此没有加载其他元素）。有谁知道怎么回事？

Answer 1

向下滚动页面时会加载其他电影。如果要加载所有或一定数量的电影，则必须不断向下滚动并等待。

天真的实现：

int DESIRED_COUNT = 100;
int currentCount = driver.findElements(By.cssSelector("#films .film")).size();

while (currentCount < DESIRED_COUNT) {
    driver.executeScript("window.scrollTo(0, document.body.scrollHeight)");
    Thread.sleep(1000);
    currentCount = driver.findElements(By.cssSelector("#films .film")).size();
}

// now get the page source
System.out.println(driver.getPageSource());

Thread.sleep() 等待可能应该通过WebDriverWait 替换为显式等待。