从分页嵌套链接中提取数据

Question

我有一个大约 17 页的 IMDb 标题的分页列表：the list

链接有http://www.imdb.com/title/tt0111161/?ref_=adv_li_tt形式的URL

其中 tt0111161 是标题 ID。

我想浏览整个列表，对于每个标题，转到 URL http://www.imdb.com/title/tt0111161/ratings
并从该页面中提取 HTML 信息。如何使用 Scrapy、BeautifulSoup 或任何其他方法做到这一点？

Answer 1

我试过这种方式：-

from bs4 import BeautifulSoup
import urllib
r = urllib.urlopen('http://www.imdb.com/title/tt0111161/ratings').read()
soup = BeautifulSoup(r)
print soup

注意 - IMDb 不允许您废弃他们的网站。