在 Lambda 函数中关闭 DAX 客户端答案

【问题标题】：Closing DAX Client in Lambda Function在 Lambda 函数中关闭 DAX 客户端
【发布时间】：2018-05-04 05:44:09
【问题描述】：

我有一个 node.js 函数，我想将它部署为 AWS Lambda 函数。我注意到，当我使用 redis Elasticache 时，我必须关闭我用 redis.createClient 打开的连接，否则 Lambda 函数会超时。我通过简单地调用客户端的 quit() 方法来做到这一点。如果我在发出 Lambda 回调之前执行此操作，则 Lambda 函数会按预期结束。如果我不这样做，则 Lambda 函数会在我设置的任何超时间隔处超时。在测试设置中，我有一个 Lambda 函数，它在缓存上运行并在 30 毫秒内终止。如果不调用 redis 客户端 quit() 方法，相同的 Lambda 函数不会在 1 分钟超时之前终止。我不确定，但我假设 Lambda 函数的行为方式是这样的，因为它不知道函数是否执行完毕（即使在回调之后），因为 redis 连接仍然处于活动状态。

我并不关心这个，因为调用 quit() 方法很容易。我遇到的问题是当我尝试使用 DynamoDB DAX 客户端做类似的事情时。我可以让 Lambda 函数通过我的 VPC 终端节点直接访问 DynamoDB，一切正常。如果我使用 DAX 客户端，对表的修改实际上会发生（我插入了一个项目，可以看到它在那里），但 Lambda 函数总是超时。

这里是一些示例代码：

const AmazonDaxClient = require('amazon-dax-client');
const AWS             = require('aws-sdk');
const config          = require('./config');

AWS.config.update(config.aws);
var ddbClient = new AWS.DynamoDB.DocumentClient(config.dynamodb);
var dax = new AmazonDaxClient(config.dax);
var daxClient = new AWS.DynamoDB.DocumentClient({service: dax });

如果我只使用 ddbClient，一切正常。如果我使用 daxClient，一切正常（插入、删除、更新等），但 Lambda 函数超时。 daxClient 是否有类似的 quit() 方法告诉 DAX 集群我已完成并且可以干净地关闭所有连接？我怀疑这个问题是他们希望 daxClient 的行为与普通 ddbClient 完全一样，并且 ddbClient 没有 quit() 方法。

【问题讨论】：

您可以尝试设置 context.callbackWaitsForEmptyEventLoop = false... 这应该解决 DAX 和 redis 的超时问题，并允许您使用在处理程序外部配置的全局变量建立这些连接，并使事情变得更快一点因为您不必在每次函数调用时都初始化它们。（我不熟悉 DAX 客户端，但如果没有此选项，Lambda 会等待是否有人打开套接字。）
迈克尔，这在两个方面都成功了。谢谢！你想写一个答案让我接受吗？

标签： amazon-web-services amazon-dynamodb aws-lambda amazon-elasticache amazon-dynamodb-dax

【解决方案1】：

看起来像 here 记录的 Lambda context 属性 callbackWaitsForEmptyEventLoop 可能与您的案例相关。默认设置为true，这意味着即使你的处理程序通过回调返回一个值，只要在Node事件循环中还有任何东西，Lambda就不会完成它的执行。

将其设置为false 将允许您的 Lambda 处理程序完成，即使事件循环中的内容，但请注意，这些逻辑线程将在 Lambda 未运行时冻结执行。此行为可能不适用于所有库，具体取决于它们的健壮程度。

有趣的是，无论属性设置如何，调用 context.succeed（而不是 callback）的旧 Lambda 返回样式都不会等待空事件循环。（This gist 提供了一些额外的细节。）

【讨论】：

明确一点，这个解决方案确实有效，但我不确定 Lambda 在事件循环中等待什么。我只在缓存写入的回调中发出 Lambda 回调。据我所知，事件循环中应该没有其他等待。我只有一个与我完成的缓存的活动连接。使用 redis 缓存发出 quit() 解决了问题，但与 DAX 没有类似之处。在使用 DAX 测试此方法后，我发现即使将 callbackWaitsForEmptyEventLoop 设置为 false，对 DynamoDB 的所有写入都存在。
在没有调查 DAX 客户端代码的情况下，我无法告诉你，但它可能会留下某种文件句柄（网络连接？）打开，这会导致事件循环出于效率原因而完全清空。
我深入研究了代码以尝试查看发生了什么（因为它也在其他地方引起了问题）。看起来他们在处理完套接字连接后并没有清理它们。
@ShannonWrege 自从修复了这个特定问题后，您是否发现您的 lambda 函数使用 DAX 时出现任何其他性能问题？我正在考虑使用它，但客户端自行清理的能力对我来说似乎很重要。
是的，我只是在评估 DAX 是否可能使用 Redis Elasticache 摆脱我自己的缓存。我已经实现了一切，并且运行良好，所以我暂时停止了调查。

【解决方案2】：

从 DAX JS 客户端的 1.1.2 版开始，这不再是问题 - 使用 DAX 时 Lambda 事件循环将正确暂停。

【讨论】：

我已经安装了 1.1.2 和 1.1.3 并且这个问题仍然存在。你有没有观察过这个问题，你观察过哪些版本？