【问题标题】：how to automate pagination with selenium python?(without manually selecting the next button)如何使用 selenium python 自动分页？（无需手动选择下一步按钮）
【发布时间】：2020-06-20 01:07:41
【问题描述】：
我正在抓取图片的网站列表，使用 selenium webdriver+scrapy，但是每个网站的下一个按钮有不同的类/div 名称，如何在不同的网站中自动查找要抓取的下一页？
【问题讨论】：
-
请添加您的代码示例以及您尝试过的内容，对于大多数人来说很难回答一个不够集中的问题。另外，请考虑查看：how to ask?。谢谢！
标签：
python-3.x
selenium-webdriver
web-scraping
scrapy
python-requests
【解决方案1】：
这是最基本的分页结构：
page_count = 1
while (nextbutton.isEnbled):
# Increase page_count value on each iteration on +1
page_count += 1
try:
nextbutton.click()
except NoSuchElementException:
# Stop loop if no more page available
break