如何从请求响应中提取 HTTP 错误文本？答案

【问题标题】：How to extract the HTTP error text from a requests response?如何从请求响应中提取 HTTP 错误文本？
【发布时间】：2019-02-09 13:12:09
【问题描述】：

我有以下代码：

    tries = 10
    for n in range(tries):
        try:
            ....
            responsedata = requests.get(url, data=data, headers=self.hed, verify=False)
            responsedata.raise_for_status()
            ..
            if .... : 
                break   #exit loop condition

        except (ChunkedEncodingError, requests.exceptions.HTTPError) as e:
            print ("page #{0} run #{1} failed. Returned status code {2}. Msg: {3}. Retry.".format(page, n, responsedata.status_code, sys.exc_info()[0]))
            if n == tries - 1:
               raise e  # exit the process

我看到的指纹是：

page #53 run #0 failed. Returned status code 502. Msg: <class 'requests.exceptions.HTTPError'>. Retry.
page #1 run #1 failed. Returned status code 500. Msg: <class 'requests.exceptions.ChunkedEncodingError'>. Retry.

虽然这没问题，但它并没有给我有关问题的实际信息。该消息只是告诉我异常标题。

如果我在异常发生时打印：responsedata.text，我会看到：

 Returned status code 502. Message is: ...
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1"/>
<title>502 - Web server received an invalid response while acting as a gateway or proxy server.</title>
<style type="text/css">
<!--
body{margin:0;font-size:.7em;font-family:Verdana, Arial, Helvetica, sans-serif;background:#EEEEEE;}
fieldset{padding:0 15px 10px 15px;}
h1{font-size:2.4em;margin:0;color:#FFF;}
h2{font-size:1.7em;margin:0;color:#CC0000;}
h3{font-size:1.2em;margin:10px 0 0 0;color:#000000;}
#header{width:96%;margin:0 0 0 0;padding:6px 2% 6px 2%;font-family:"trebuchet MS", Verdana, sans-serif;color:#FFF;
background-color:#555555;}
#content{margin:0 0 0 2%;position:relative;}
.content-container{background:#FFF;width:96%;margin-top:8px;padding:10px;position:relative;}
-->
</style>
</head>
<body>
...

这是一个巨大的信息，大部分是垃圾，但它也说：502 - Web server received an invalid response while acting as a gateway or proxy server. 我可以访问此消息并将其打印到我的日志中吗？

【问题讨论】：

@PedroLobito 我知道这一点，但 API 会引发更多类型或错误，其中一些可能是独一无二的。我在问如何使用请求包访问消息

标签： python python-requests

【解决方案1】：

您可以使用responsedata.status_code 访问响应的状态代码，并通过responsedata.reason 访问其文本描述（在http://docs.python-requests.org/en/master/api/ 中查看更多信息）

【讨论】：

不错，但它包含不同的消息。例如它说：Bad Gateway 而不是 Web server received an invalid response while acting as a gateway or proxy server.
该消息在响应的标题中，由网络服务器添加。换句话说，它特定于您正在访问的这个 URL，而不是任何网络服务器（作为我的答案）。如果要提取它，则需要解析 HTML 并提取其 title 标记。您可以在stackoverflow.com/questions/26812470/… 上查看。
添加到我的评论中，这条消息似乎只是 IIS 为状态代码 500 添加的默认消息。它没有添加更多信息，只是更冗长。考虑到提取它会涉及解析 HTML，我建议只记录 HTTP 错误代码，因为它具有相同的信息。无论如何要提取它，解决方案链接在我之前的评论中。

【解决方案2】：

如果您的端点在响应正文中返回详细的、特定于应用程序的错误消息，您可以利用请求HTTPError 保留对导致它被引发的Response 的引用：

from requests.exceptions import HTTPError

try:
    # Some code that makes requests
except HTTPError as e:
    print(e.response.text)

【讨论】：