Python POST 请求直到在谷歌应用引擎上等待超时时间后才会发送请求答案

【问题标题】：Python POST request doesn't send request until after waiting for duration of timeout period on google app enginePython POST 请求直到在谷歌应用引擎上等待超时时间后才会发送请求
【发布时间】：2021-06-12 14:49:30
【问题描述】：

我正在使用 python-requests 库发出 python POST 请求

import requests

# Set token, headers, data variables here

r = requests.post(f'https://api.popularwebsite.com/endpoint?access_token={token}', headers=headers, data=data)

timetaken = r.elapsed.total_seconds()

这段代码需要很长时间才能运行，最后，timetaken 变量是介于 127 和 128 之间的某个值，但请求成功。我可以添加一些日志记录，在日志中，我可以看到请求在 127 秒后才发送

记录代码：

import logging

import http.client
http.client.HTTPConnection.debuglevel = 1

logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True

日志：

2021-03-15 (04:02:01.522) DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): api.popularwebsite.com:443
2021-03-15 (04:04:08.646) send: b'{"myJsonPayload": 1234}'

此外，我可以将 n 秒的超时参数传递给 post 函数。这会改变请求等待的时间，但程序在发出请求之前仍会闲置 n 秒。最后，timetaken > n 和 timetaken

这是在部署在 Google App Engine 上的 python 烧瓶应用程序的上下文中。奇怪的是，导致这个问题的条件似乎是我的服务器和这个 api 的组合。我可以毫无问题地从我的服务器向其他端点发出请求。我还可以在本地运行 python 代码并从我的 PC 向有问题的 api 发出请求而不会出现问题。服务器上的一些本地环境问题一定会弄乱对该特定 url 的请求。这个应用程序向这个端点发出请求已经 2 年没有问题了，并且在几天前自发地开始遇到这个问题

我已尝试将我的应用程序重新部署到我的服务器上，这可能会解决第一个或两个请求的问题，但问题会再次出现。我还尝试部署以前版本的代码，但无济于事。这确认问题不是由代码更改引起的。

任何想法可能导致此问题，或者我应该如何进行故障排除？

编辑：这个问题似乎是零星的。它会意外启动并消失

编辑：这是我的 app.yaml 文件

runtime: python37
entrypoint: gunicorn -b :$PORT --chdir src main:app --timeout 300
instance_class: F1

env_variables:
    KEY1: "value1"

【问题讨论】：

您是否为您的 App Engine 服务检查 Stackdriver Logging？请检查您在发出发布请求时是否收到任何错误或警告
您能否使用curl 向您的端点显示请求的输出？
请分享您的 app.yaml 文件。请分享您正在使用的 Python 版本。
@NibrassH 发出请求时没有错误或警告。 curl 请求在我的本地环境中按预期工作（就像在我的本地机器上使用 python 请求的请求一样）。我正在使用 python 3.7.5 并请求 2.25.1。我用我的 app.yaml 文件更新了帖子
您是否尝试过像 ethereal 这样的数据包嗅探器？查看是否未发送数据包，或者 ssl Tunel 构建是否需要很长时间等。也许 dns 在服务器上解析超时，并在超时后故障转移到另一个服务器。如果在超时之前没有向服务器发送数据包，我会怀疑 dns

标签： python google-app-engine python-requests timeout

【解决方案1】：

这似乎是客户端执行的缓存问题，请尝试清除浏览器缓存，因为我认为浏览器是进行缓存的浏览器。

请注意，重新部署新版本的应用不会删除缓存。因此，您可以使用 Google App Engine 的 default_expiration 元素来配置静态资源在网络代理和浏览器中的缓存时间。

在大多数情况下，默认的 10 分钟到期时间是合适的。”

如果您希望更快地刷新缓存，则可以通过添加以下 .yaml element 将其覆盖到更短的时间（降至 0）：

default_expiration: 0s.

这将覆盖全局过期时间，或者如果您只想为某些处理程序设置它，您可以使用following。

【讨论】：

不涉及浏览器或静态资源。我已经用序列图更新了帖子以澄清。当问题发生时，它会同时影响所有客户端
在这种情况下，我希望您联系Google Cloud Platform Support 以了解可能是什么问题，因为它需要检查您的项目。

【解决方案2】：

我想知道您使用的是哪个应用引擎。应用引擎灵活或标准

如果它是标准并且如果没有负载，那么它会缩放到零，并且在您下次调用之后，它需要一些时间。但如果它是灵活，那么至少会有 1 个实例。如果不是这种情况，您必须检查其他原因。

如果是这种情况：一种解决方法，您可以为应用引擎标准

设置最小实例

【讨论】：

这个问题肯定已经缩小到python请求库中发生的一些事情。该应用程序绝对不会缩放到零

【解决方案3】：

我放弃了尝试进行故障排除，并在不同的区域创建了一个新的 GCP 项目并进行了迁移。没有更多的问题

【讨论】：