来自代理的无效响应与 python 请求

Question

我在 Python2.7 中使用 Requests API。

我正在尝试通过代理服务器下载某些网页。我有一个可用代理服务器的列表。但并非所有代理服务器都能按预期工作。一些代理需要身份验证，其他代理需要重定向到广告页面等。为了检测/验证不正确的响应，我在我的 url 请求代码中包含了两项检查。看起来和这个很像

import requests

proxy = '37.228.111.137:80'
url = 'http://www.google.ca/'
response = requests.get(url, proxies = {'http' : 'http://%s' % proxy})
if response.url != url or response.status_code != 200:
    print 'incorrect response'
else:
    print 'response correct'
    print response.text

有一些代理服务器的 requests.get 调用成功并且它们通过了这两个条件并且在 response.text 属性中仍然包含无效的 html 源。但是，如果我在我的 FireFox 浏览器中使用相同的代理并尝试打开相同的网页，我会显示一个无效的网页，但我的 python 脚本说响应应该是有效的。

有人可以指出我还缺少哪些其他必要的检查来清除不正确的 html 结果？

或

如何成功验证我打算接收的网页是否正确？

问候。

Answer 1

什么是浏览器显示的“无效网页”？服务器可以返回 200 的 HTTP 状态码，但内容是错误消息。您将其理解为错误消息，因为您可以理解它，而浏览器或代码则不能。

如果您对目标页面的内容有任何了解，您可以检查返回的 HTML 是否包含该内容并在此基础上接受它。