带有嵌套链接的 Python 机械化

Question

我目前正在抓取一个包含多个链接级别的网站，并且似乎 mechanize 无法处理嵌套链接。例如，假设我有：

br = mechanize.Browser()
response = br.open('some_site');

for link in br.links():
  br.follow_link(link)
  for link in br.links():
    br.follow_link(link)

一旦 mechanize 退出内循环，它就会停在那里，而不会循环通过外循环的链接。

我尝试了 br.back() 但它也不起作用。有解决方法还是我做错了什么？谢谢。

Answer 1

在开始循环之前将链接存储在列表中：

br = mechanize.Browser()
response = br.open('some_site');

current_links = list(br.links())

for link in current_links:
  br.follow_link(link)
  sub_links = list(br.links())
  for link in sub_links:
    br.follow_link(link)

当您更改页面时，您正在迭代的内容 (br.links()) 正在发生变化，这可能会导致奇怪的行为。