【问题标题】:Is there a limit to the number of times a node lambda can call for a file’s contents using the AWSJavaScriptSDK/v3 GetObjectCommand?节点 lambda 可以使用 AWS JavaScript SDK/v3 GetObjectCommand 调用文件内容的次数是否有限制?
【发布时间】:2021-12-22 14:54:30
【问题描述】:

https://docs.aws.amazon.com/AWSJavaScriptSDK/v3/latest/clients/client-s3/classes/getobjectcommand.html

我有一个节点 lambda,它解析 s3 文件夹中的 json 文件,读取文件,然后将该 json 注入到发电机表中。它最多有 50 个文件,我试图理解为什么。我已将 lambda 超时和内存更改为无效。我还注释掉了 dynamo put 命令,所以我知道这不是罪魁祸首。尝试从 s3 读取其内容时,它似乎总是停在第 51 个文件上。

有什么想法吗?

谢谢!

【问题讨论】:

  • 您是否在回复中收到isTruncated: true
  • 没有错误信息。只需 504 回客户端。
  • 请发布您的代码。

标签: javascript node.js amazon-web-services amazon-s3 lambda


【解决方案1】:

我能够通过让一个 lambda 解析 s3 文件夹中的文件,然后让第二个 lambda 作用于每个文件来解决这个问题。主要区别在于 lambda 调用仅读取单个 s3 文件并将单个记录写入数据库。

我仍然不明白为什么第一个设计被限制在 50 个文件读取,但这个新设计在多个方面都更好。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-05-13
    • 2022-01-17
    • 1970-01-01
    • 2021-10-02
    • 1970-01-01
    • 2021-07-04
    • 2021-12-09
    • 2020-02-24
    相关资源
    最近更新 更多