【发布时间】:2017-05-25 01:22:01
【问题描述】:
所以,我正用头撞墙,试图弄清楚我在这里做错了什么。我正在使用 NodeJS 6.10 编写一个 Lambda 函数。该函数应该从我的一个 S3 存储桶中检索多张图像并处理它们。我正在接受 JavaScript 的异步特性,或者无论如何都尝试这样做,并允许这些同时发生,然后在所有这些都完成后等待并做一些事情。我已经将这里的代码提炼到了我可以编写的最低限度,并且仍然重现了我看到的问题。问题是没有任何图像被检索到 - 事实上,没有迹象表明 Lambda 函数实际上曾尝试检索它们,也没有迹象表明曾经触发过回调。
代码如下:
console.log('Executing testImg method.');
var aws = require('aws-sdk');
var s3 = new aws.S3();
var imgData = {};
exports.handler = function(event, context, callback) {
var imgs = ['img_1', 'img_2', 'img_3', 'img_4', 'img_5', 'img_6', 'img_7', 'img_8'];
var imgPromises = [];
console.log('Grabbing images: ' + imgs);
imgs.forEach(function(img) {
console.log(img);
var myPromise = s3.getObject({
Bucket: 'photoBucket',
Key: 'images/' + img + '.png'
}).promise();
imgPromises.push(myPromise);
myPromise.then(function(result) {
console.log('Got ' + img);
imgData[img] = result.Body;
});
});
Promise.all(imgPromises).then(function() {
console.log(imgData);
context.succeed();
});
}
这是 Lambda 的输出:
START RequestId: <UUID> Version: $LATEST
2017-05-21T18:53:31.187Z <UUID> Grabbing images: img_1,img_2,img_3,img_4,img_5,img_6,img_7,img_8
2017-05-21T18:53:31.187Z <UUID> img_1
2017-05-21T18:53:31.625Z <UUID> img_2
2017-05-21T18:53:31.648Z <UUID> img_3
2017-05-21T18:53:31.706Z <UUID> img_4
2017-05-21T18:53:31.707Z <UUID> img_5
2017-05-21T18:53:31.708Z <UUID> img_6
2017-05-21T18:53:31.766Z <UUID> img_7
2017-05-21T18:53:31.767Z <UUID> img_8
END RequestId: <UUID>
REPORT RequestId: <UUID> Duration: 10002.24 ms Billed Duration: 10000 ms Memory Size: 128 MB Max Memory Used: 80 MB
2017-05-21T18:53:41.173Z <UUID> Task timed out after 10.00 seconds
从输出中可以看出,console.log(img) 行在打印图像名称的地方运行。但是,单个 .then() 块中的任何代码都不会运行(例如 console.log('Got ' + img)),并且最终 Promise.all 块中的任何代码都不会运行(打印出整个数组,并调用succeed函数终止该函数。
另外,我尝试过的其他一些事情:
- 使用 NodeJS + lambda-local 在本地运行代码。效果很好。
- 在没有 lambda-local 的 NodeJS 中运行类似的代码。效果很好。
- 使用显式凭据在 Lambda 上运行代码,而不是允许它使用 Lambda 角色。它在 AWS Lambda 上仍然失败。
- 在 Lambda 中下载单个图像工作得非常好 - 它似乎不喜欢多次调用 getObject,尽管我在文档中找不到任何迹象表明这是一件坏事。
- 我已尝试从循环内部删除单独的 myPromise.then() 调用,并在 Promises.all() 块中执行所有操作,同样,这不会导致代码在 AWS 中实际运行。李>
我可以将它们全部链接在一起,以便它们每个同步发生,但是 1)很难以动态方式执行此操作(不知道我需要提前获取的文件数量),以及 2 ) 这似乎与 Async JS 现在的一切背道而驰。
任何提示将不胜感激。
【问题讨论】:
-
您的代码只处理成功的场景。您需要在每个承诺中添加
.catch()或.then()中的第二个函数,以捕获并打印出任何错误消息,我相信这将为您提供关于到底发生了什么的非常好的线索。另外,您是否将 Lambda 函数放置在没有 NAT 网关的 VPC 中(这可能会导致 S3 API 调用超时)? -
谢谢。我希望您已将此作为解决方案发布,以便我可以将其标记为正确。我确实有一些捕获/错误代码,但默认连接超时比大多数 Lambda 函数限制长,因此它甚至从未进入错误检查代码。我将我的 Lambda 函数放在 VPC 中以访问私有数据库服务器,甚至没有考虑 S3 端点是外部的。正确放置 NAT 网关和一些减少的 HTTP 连接超时已解决此问题。谢谢!
标签: javascript node.js amazon-s3 aws-lambda