AWS Lambda：返回大型数据集时出现 504 错误

Question

我有一个 Lambda 函数，它接受多个数组 (~6) 并返回所有可能的组合。

当有几百种可能的组合时，Lambda 是成功的。但是，当有数千种可能性时，我会失败（下面的响应）。

请注意，我正在双向压缩/解压缩 JSON，以使负载尽可能小。

我正在以最大内存 (1536) 和 20 秒超时运行它。

对造成这种情况的原因有什么想法吗？

{
  "state": "rejected",
  "reason": {
    "name": "StatusCodeError",
    "statusCode": 504,
    "message": "504 - [object Object]",
    "error": {
      "message": "Endpoint request timed out"
    },
    "options": {
      "uri": "https://blahblah/prod/getCombinations",
      "method": "POST",
      "timeout": 120000,
      "json": {...
      },
      "simple": true,
      "resolveWithFullResponse": false
    },
    "response": {
      "statusCode": 504,
      "body": {
        "message": "Endpoint request timed out"
      },
      "headers": {
        "content-type": "application/json",
        "content-length": "41",
        "connection": "close",
        "date": "Thu, 20 Aug 2015 20:39:53 GMT",
        "x-amzn-requestid": "965d3b8d-477b-11e5-99d6-4102846d4b1e",
        "x-cache": "Error from cloudfront",
        "via": "1.1 b1103856e287e98f322630821d3c6e5b.cloudfront.net (CloudFront)",
        "x-amz-cf-id": "Dhk7ylTq6RDE74smC8uF8ajms8rpU0fp2dnexn4_I3qIXgvrrsg48w=="
      },
      "request": {
        "uri": {
          "protocol": "https:",
          "slashes": true,
          "auth": null,
          "host": "blahblah",
          "port": 443,
          "hostname": "blahblah",
          "hash": null,
          "search": null,
          "query": null,
          "pathname": "/prod/getCombinations",
          "path": "/prod/getCombinations",
          "href": "https://blahblah"
        },
        "method": "POST",
        "headers": {
          "accept": "application/json",
          "content-type": "application/json",
          "content-length": 10201
        }
      }
    }
  }
}

Answer 1

您可以从字面上阅读Amazon CloudFront 504 响应“端点请求超时”，即504 Gateway Timeout 通常表示服务器正在充当网关或代理，并且没有收到来自上游的及时响应服务器。

CloudFront 符合此标准，如 Customizing Error Responses 中所述，例如：

服务器错误表示源服务器存在问题。例如，HTTP 服务器正忙或不可用。当发生服务器错误时，您的源服务器将 500 范围内的 HTTP 状态代码返回给 CloudFront，或者 CloudFront 在一段时间内没有从您的源服务器获得响应并假定为 504 状态代码（网关超时）。 [强调我的]

感谢迈克尔 pointed out，CloudFront 自己的 request timeout for custom origins 是 30 秒：

DELETE、OPTIONS、PATCH、POST 和 POST 请求 – 如果源在 30 秒内没有响应，CloudFront 会断开连接并且不会再次尝试联系源。如有必要，客户端可以重新提交请求。

鉴于您的 AWS Lambda 函数的超时时间较短，为 20 秒，我怀疑您的数据集太大而无法在 20 秒内通过 POST 请求（可能是通过 Amazon API Gateway?!）传输和处理。

• 如果您的数据集大于 1.5GB 的 Lambda 函数，执行持续时间为 20 秒，您需要将数据分割成更小的块，或者将计算从 Lambda 迁移到更具可扩展性的东西上 - 碰巧的是 AWS Compute博客只是提供了一个很好的示例如何促进Amazon ECS 对于此类运行时间较长的任务，请参阅 Chris Barclay 的 Better Together: Amazon ECS and AWS Lambda。