Selenium PhantomJS 向下滚动

Question

我尝试使用 selenium 向下滚动，但我使用 webdriver PhantomJS。我尝试使用 selenium 来测试 javascript instagram。如您所知，instagram 上有“加载更多”按钮，点击“加载更多”按钮后，我们不必再次点击，因为它会自动刷新并显示更多图像。

我试过这样：

driver.find_element_by_xpath("//a[@class='_8ioip _glw1t']").click()
time.sleep(5)

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(3.6)

实际上这段代码是有效的，但不是真的有效，我的意思是在“time.sleep”发生了一些奇怪的事情。如果我给2，结果很少，如果我给3，结果差不多，但是如果我给5，结果和我给2一样。

问题是，如何让 Scroll 获取所有数据

Answer 1

“加载更多”按钮的类别似乎已更改。 你的代码是正确的，试试这个xpath：

//a[@class='_8imhp _glz1g']

或者尝试通过它的文本内容来定位按钮：

//*/div/a[text()[contains(.,'Load more')]]

在点击按钮之前向下滚动..所以你的代码应该是这样的：

driver.get('https://www.instagram.com/explore/tags/whatever/')
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
driver.find_element_by_xpath("//*[text()[contains(.,'Load more')]]").click()
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")