如何从网站解析可下载列表？

Question

有一个包含<ul> 列表的网站（当您滚动到末尾时会加载该列表）。在 <ul> 的 1800,000 个项目 <li> 中，需要全部解析。我使用Robot 类和mouseWheel 方法，但计算机最多挂起50,000 个。完成时间非常长。 我用方法

public void scrollToEnd() {
        robot.mouseWheel(100000);
    }

有没有更好的解决方案？

Answer 1

长期使用 Selenium。 mouseWheel() 在某些情况下不起作用。我用这个

((JavascriptExecutor) webDriver).executeScript("window.scrollBy(0, -10000)");

因此，您向下滚动并检查您的元素是否可见或可点击，您需要什么

ExpectedConditions.visibilityOf(webElement)