机械化打开多个页面

Question

我正在使用 mechanize 和 beautifulsoup 创建一个 python 脚本来从网页中提取一些数据。抓取工作正常，但我遇到的问题是移动到多个页面。有没有办法在循环中机械化页面之间移动？

这是我尝试过的

Browser().follow_link(text_regex="Next")

但它会转到下一页，这很好，但如果“下一步”按钮不存在，它就会死掉。我不确定如何制作一个更好的循环，或者在运行上面的跟随链接命令之前检查链接是否存在。

我发现的大多数示例和文档似乎只适用于一页。

Answer 1

您的代码是如何“死掉”的？如果它抛出异常，你可以捕获它并做一些事情来处理它（在你的循环中）：

try:
   Browser.follow_link(text_regex="Next")
except Exception:
   print "No more next button; terminating loop (but not dying mysteriously)"
   break