Python TooManyRedirects：超过 30 个重定向

Question

我在 Python 中尝试过以下代码

url="http://www.realtor.com/realestateandhomes-search/Pittsburgh_PA/type-single-family-home/price-na-30000/sby-1/"
r=requests.get(url)

但它会引发错误

  File "C:\Users\Dana\AppData\Local\Programs\Python\Python35-32\lib\site-package
s\requests\sessions.py", line 630, in send
    history = [resp for resp in gen] if allow_redirects else []
  File "C:\Users\Dana\AppData\Local\Programs\Python\Python35-32\lib\site-package
s\requests\sessions.py", line 630, in <listcomp>
    history = [resp for resp in gen] if allow_redirects else []
  File "C:\Users\Dana\AppData\Local\Programs\Python\Python35-32\lib\site-package
s\requests\sessions.py", line 111, in resolve_redirects
    raise TooManyRedirects('Exceeded %s redirects.' % self.max_redirects, respon
se=resp)
requests.exceptions.TooManyRedirects: Exceeded 30 redirects.

任何帮助将不胜感激

Answer 1

在Requests\sessions.py

改变self.max_redirects的值

你很高兴..

Answer 2

有时，如果您不包含服务器期望的标头，则可能会发生这种情况。如果您使用 requests.get() 中提供的其他选项来模仿标头、有效负载、用户代理等，您将不太可能收到此错误。

例子：

import requests

headers = {
    'Accept-Encoding': 'gzip, deflate, sdch',
    'Accept-Language': 'en-US,en;q=0.8',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Cache-Control': 'max-age=0',
    'Connection': 'keep-alive',
}

requests.get('http://www.realtor.com/realestateandhomes-search/Pittsburgh_PA/type-single-family-home/price-na-30000/sby-1', headers=headers)

Answer 3

这仅仅意味着您的请求得到了一个重定向响应（您尝试访问的页面现在位于新位置的信息）。 requests 库默认理解这一点，并且不返回此结果，而是尝试对新位置的另一个请求。再次返回重定向等。

为了避免永远不会退出 requests 调用，在进程中止之前允许重定向的数量实施了限制。

我认为您尝试请求某些内容的站点存在错误，可能是循环重定向。

您可以调整requests 库以不遵循重定向而是返回它们，那么您将不会收到此错误（当然是重定向响应）：

response = requests.get(url, allow_redirects=False)