google.appengine.api.urlfetch 的最后期限是否限制为 60 秒？

Question

我在谷歌应用引擎上使用 python，并不断收到google.appengine.api.urlfetch_errors.DeadlineExceededError 来自执行某些后端处理的机器的请求。这些请求大约需要 60 秒，有时会更长一些，所以我试图延长截止日期。

请求包含在重试中，从日志中我可以看到重试之间的时间始终为 ~60 秒。我认为这要么是因为我配置错误，要么是误解了截止日期的限制。

机器配置是：

instance_class: B8
basic_scaling:
  max_instances: 1
  idle_timeout: 10m

我使用的代码是（为简单起见已编辑）：

from google.appengine.api import urlfetch
from retrying import retry

timeout = 600
retries = 10

@retry(
    stop_max_attempt_number=retries,
    wait_exponential_multiplier=1000,
    wait_exponential_max=1000*60*5
)
def fetch(url):
    """Fetch remote data, retrying as necessary"""
    urlfetch.set_default_fetch_deadline(timeout)
    result = urlfetch.fetch(url)
    if result.status_code != 200:
        raise IOError("Did not receive OK response from server")
    return result.content

data = fetch(config['url'])

我已尝试将截止日期明确设置为 urlfetch.fetch(url, deadline=timeout)，但设置默认值似乎是大多数人建议的方法。

谁能澄清是否可以为deadline 设置最大值？

Answer 1

请求计时器

Google App Engine 请求计时器 (Java/Python/Go) 确保请求具有有限的生命周期，并且不会陷入无限循环。目前，对前端实例的请求的截止时间是 60 秒。 （后端实例没有相应的限制。）每个请求，包括预热（请求/_ah/warmup）和加载请求（“loading_request=1”日志头），都受此限制。

如果请求未能在 60 秒内返回并且抛出 DeadlineExceededError 且未被捕获，则请求中止并返回 500 内部服务器错误。如果 DeadlineExceededError 被捕获，但响应速度不够快（不到一秒），请求将被中止并返回 500 内部服务器错误。

就我阅读文档而言，我认为应用引擎中的最大请求超时为 60 秒。 Here is the link to the documentation