botocore.response.StreamingBody 给出 JSONDecodeError答案

【问题标题】：botocore.response.StreamingBody gives JSONDecodeErrorbotocore.response.StreamingBody 给出 JSONDecodeError
【发布时间】：2021-07-16 03:15:21
【问题描述】：

我正在尝试加载 lambda 调用返回的有效负载，但得到 JSONDecodeError 下面是我的 lambda 代码。

from datetime import datetime
metadata={}
metadata["execution_info"] = {
            "aws_lambda_request_id": "test",
            "aws_lambda_instance_id": "test",
            "started_timestamp": datetime.utcnow().isoformat()
            }
metadata["execution_info"]["completed_timestamp"] = datetime.utcnow().isoformat()
def lambda_handler(event, context):
    return {
    "statusCode": 200,
    "headers": {
        "Content-Type": "application/json"
    },
    "body": json.dumps({
        "body": metadata
    })
}

然后在我尝试加载响应时的调用函数中，如下所示

response=lambda_mock.invoke(
    FunctionName='test-lambda',
    InvocationType='RequestResponse'
)
response=json.load(response['Payload'])

它抛出

raise JSONDecodeError("Expecting value", s, err.value) from None
E           json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
/usr/local/lib/python3.8/json/decoder.py:355: JSONDecodeError

也试过了 - response=json.loads(response['Payload'].read().decode("utf-8")) 但仍然是同样的错误。

这里出了什么问题？

更新 1-

print(response['Payload']) 给出

根本原因

我想我找到了问题所在。看起来模拟 lambda 正在返回错误数据。它返回预期的响应 + lambda 日志（开始请求/结束请求详细信息）。它以某种方式将它们结合起来并将它们作为一个单元返回。我不知道为什么会这样。

print(response['Payload'].read()) 在我的本地和容器中生成以下响应。奇怪的是相同的代码会产生两个不同的输出。

本地

{'statusCode': 200, 'headers': {'Content-Type': 'application/json'}, 'body': '{"body": {"execution_info": {"aws_lambda_request_id": "test", "aws_lambda_instance_id": "test", "started_timestamp": "some-time", "completed_timestamp": "some-time"}}}'}

容器

b'\x1b[32mSTART RequestId: 14b675fe-bea2-1072-ceb7-53f0a72ac92c Version: 1\x1b[0m\n\x1b[32mEND RequestId: 14b675fe-bea2-1072-ceb7-53f0a72ac92c\x1b[0m\n\x1b[32mREPORT RequestId: 14b675fe-bea2-1072-ceb7-53f0a72ac92c\tInit Duration: 432.19 ms\tDuration: 3.07 ms\tBilled Duration: 4 ms\tMemory Size: 1000 MB\tMax Memory Used: 23 MB\t\x1b[0m\n\n{"statusCode":200,"headers":{"Content-Type":"application/json"},"body":"{\\"body\\": {\\"execution_info\\": {\\"aws_lambda_request_id\\": \\"test\\", \\"aws_lambda_instance_id\\": \\"test\\", \\"started_timestamp\\": \\"some-time\\", \\"completed_timestamp\\": \\"some-time\\"}}}"}'

呼！ Moto 1.3.14 有这个错误。我本地的 moto 版本降级，现在我遇到了同样的错误。

【问题讨论】：

print(response['Payload']) 输出什么？
它在 0x7f1907af1400> 打印这个

标签： python json amazon-web-services boto botocore

【解决方案1】：

问题与 Moto 版本有关。我在构建管道中使用 1.3.14，在本地使用最新版本。旧版本有这个错误，它从您的模拟 lambda 返回不正确的响应。在我的构建管道中升级 moto 版本后，一切正常。

升级 moto 版本后，您可能会看到 docker not found。要解决这个问题，请在 requirements.txt 中包含 moto[all]==2.0.5

更多详情请参考本帖：moto- docker not found issue

【讨论】：