【发布时间】:2019-07-22 02:21:29
【问题描述】:
我有这个简单的代码:
import requests
r = requests.get('https://yahoo.com')
print(r.url)
执行后,打印:
https://uk.yahoo.com/?p=us
我想看看:
在到达
https://uk.yahoo.com/?p=us之前发生了多少重定向(显然,我最初输入https://yahoo.com时有重定向)?我还想保存每一页的内容,而不仅仅是最后一页。如何做到这一点?
【问题讨论】:
-
您希望
requests不自动跟随重定向,这样您就可以看到链中的每个页面。然后您可以继续手动跟踪它们,直到获得最终结果。
标签: python python-3.x web-scraping python-requests python-requests-html