【发布时间】:2019-10-10 13:11:45
【问题描述】:
我有一个用例,我有一个存储在 S3 Bucket 中的 pdf 文件列表,我已经列出它们并将它们推送到 SQS 以进行文本提取,通过提供存储桶信息和 AWS 的 TextExtraxtion 信息创建了一个 Lambda 来处理这些文件.
问题是,Lambda 正在超时,因为 SQS 会触发所有文件的多个 lambda 实例,并且所有文件都在等待文本提取服务。
Lambda 为所有 SQS 消息(文件名)一一触发,这样就不会发生超时,因为我们确实有访问 AWS TextExtract 的限制
【问题讨论】:
-
每个 lambda 实例处理多少个文件?
-
你的 lambda 超时时间是多少?
-
Lambda 超时我设置为 Max 15 分钟。
-
@Horatiu ,可能有100个或更多的文件需要处理,在sqs中提供文件名。
-
您是否尝试将
batch size设置为1?见docs.aws.amazon.com/lambda/latest/dg/with-sqs.html
标签: amazon-web-services amazon-s3 text-extraction