【发布时间】:2017-08-22 17:26:31
【问题描述】:
我使用与 aws lambda(java) 集成的 aws api 网关,但我发现这种方法存在一些严重问题。删除服务器并使您的应用程序开箱即用的概念非常好,但这是我面临的问题。我的 lambda 正在做 2 件简单的事情 - 验证从客户端接收到的有效负载,然后将其发送到 kinesis 流以从另一个 lambda 进行进一步处理(您会问为什么我不直接发送到流并且只使用 1 个 lambda操作。假设我想分离逻辑并具有抽象层,并且还能够告诉客户端他正在发送无效数据。)。
在 lambda 的实现中,我集成了 spring DI。到目前为止,一切都很好。我开始进行性能测试。我模拟了 50 个并发用户发出 4 个请求,每个请求间隔 5 秒。那么发生了什么——在 lambda 的冷启动中,我初始化了 spring 的应用程序上下文,但似乎在 lambda 未启动时有这么多同时请求正在做一些奇怪的事情。这是上下文初始化时间的屏幕截图。
从截图我们可以看出,初始化上下文的时间有很大的不同。我对发生的事情的假设是,当收到这么多请求并且没有“活动” lambda 时,它会为每个请求初始化一个 lambda 容器,同时它会“阻塞”其中一些请求(那些18s) 直到其他已经开始的准备就绪。因此,它可能对可以同时启动的容器有一些内部限制。问题是,如果您没有均匀分布的流量,这将不时发生,并且某些请求将超时。我们不希望这种情况发生。
接下来要做的就是在没有 spring 容器的情况下进行一些测试,因为我的想法是“好的,初始化很繁重,让我们只做普通的旧 java 对象初始化”。不幸的是,同样的事情发生了(可能只是减少了一些请求的 3s 容器初始化)。下面是更详细的测试数据截图:
所以我记录了整个 lambda 执行时间(从构建到结束)、kinesis 客户端初始化以及将数据实际发送到流中,因为这些是 lambda 中最繁重的操作。我们仍然有这些 18 岁或其他的大时代,但有趣的是,时代在某种程度上是成比例的。因此,如果整个 lambda 需要 18 秒,大约 7-8 秒是客户端初始化,6-7 秒用于将数据发送到流,还有 4-5 秒用于 lambda 中的其他操作,目前这只是验证。另一方面,如果我们采取其中的一小段时间(这意味着它重用了一个已经开始的 lambda),即820ms,kinesis客户端初始化需要100ms,数据发送需要340ms,验证需要400ms。因此,这再次使我想到,由于某些限制,它在内部会让人有些睡眠。下一个屏幕截图显示了当 lamda 已经启动时下一轮请求发生了什么:
所以我们没有这么大的时间,是的,我们在一些请求中仍然有一些相对较大的增量(这对我来说也很奇怪),但事情看起来好多了。
因此,我正在寻找真正了解幕后情况的人的澄清,因为这对于使用云的严肃应用程序来说不是一个好的行为,因为它具有“无限”的可能性。
另一个问题与区域内帐户内所有 lambda 中的 lambda-200 并发调用的另一个限制有关。对我来说,这对于具有大量流量的大型应用程序来说也是一个很大的限制。因此,由于我目前的业务案例(我不知道未来)或多或少地火了并且忘记了请求。我开始考虑以网关将数据直接发送到流的方式更改逻辑,而另一个 lambda 负责验证和进一步处理。是的,我正在失去当前的抽象(我目前不需要),但我正在多次提高应用程序的可用性。你怎么看?
【问题讨论】:
标签: java amazon-web-services aws-lambda aws-api-gateway amazon-kinesis