使用 urllib 抓取 Metacritic 以遵循重定向答案

【问题标题】：Scraping Metacritic with urllib to follow redirect使用 urllib 抓取 Metacritic 以遵循重定向
【发布时间】：2014-01-05 19:27:37
【问题描述】：

我正在编写一个 Python 脚本来从 Metacritic 中抓取信息。它适用于大多数电影，但 Metacritic 重定向的电影存在问题。

例如，在电影列表中，Metacritic 提供了网址“/movie/red-riding-in-the-year-of-our-lord-1983”，但当您点击该网址时，它会将您带到“/movie” /红骑三部曲”。我需要 urllib 来获取它最终到达的最终 URL 的 HTML。

【问题讨论】：

【解决方案1】：

我最终使用了请求模块。 (http://docs.python-requests.org/en/latest/) 这是请求的代码和保存最终 url 的行。

response = requests.get(url)
newUrl = response.url

【讨论】：

【解决方案2】：

尝试使用，

import urllib.request
urllib.request.FancyURLopener().open_http("your url")

【讨论】：