【问题标题】:AWS Lambda Performance issuesAWS Lambda 性能问题
【发布时间】:2017-08-22 17:26:31
【问题描述】:

我使用与 aws lambda(java) 集成的 aws api 网关,但我发现这种方法存在一些严重问题。删除服务器并使您的应用程序开箱即用的概念非常好,但这是我面临的问题。我的 lambda 正在做 2 件简单的事情 - 验证从客户端接收到的有效负载,然后将其发送到 kinesis 流以从另一个 lambda 进行进一步处理(您会问为什么我不直接发送到流并且只使用 1 个 lambda操作。假设我想分离逻辑并具有抽象层,并且还能够告诉客户端他正在发送无效数据。)。

在 lambda 的实现中,我集成了 spring DI。到目前为止,一切都很好。我开始进行性能测试。我模拟了 50 个并发用户发出 4 个请求,每个请求间隔 5 秒。那么发生了什么——在 lambda 的冷启动中,我初始化了 spring 的应用程序上下文,但似乎在 lambda 未启动时有这么多同时请求正在做一些奇怪的事情。这是上下文初始化时间的屏幕截图。

从截图我们可以看出,初始化上下文的时间有很大的不同。我对发生的事情的假设是,当收到这么多请求并且没有“活动” lambda 时,它会为每个请求初始化一个 lambda 容器,同时它会“阻塞”其中一些请求(那些18s) 直到其他已经开始的准备就绪。因此,它可能对可以同时启动的容器有一些内部限制。问题是,如果您没有均匀分布的流量,这将不时发生,并且某些请求将超时。我们不希望这种情况发生。

接下来要做的就是在没有 spring 容器的情况下进行一些测试,因为我的想法是“好的,初始化很繁重,让我们只做普通的旧 java 对象初始化”。不幸的是,同样的事情发生了(可能只是减少了一些请求的 3s 容器初始化)。下面是更详细的测试数据截图:

所以我记录了整个 lambda 执行时间(从构建到结束)、kinesis 客户端初始化以及将数据实际发送到流中,因为这些是 lambda 中最繁重的操作。我们仍然有这些 18 岁或其他的大时代,但有趣的是,时代在某种程度上是成比例的。因此,如果整个 lambda 需要 18 秒,大约 7-8 秒是客户端初始化,6-7 秒用于将数据发送到流,还有 4-5 秒用于 lambda 中的其他操作,目前这只是验证。另一方面,如果我们采取其中的一小段时间(这意味着它重用了一个已经开始的 lambda),即820ms,kinesis客户端初始化需要100ms,数据发送需要340ms,验证需要400ms。因此,这再次使我想到,由于某些限制,它在内部会让人有些睡眠。下一个屏幕截图显示了当 lamda 已经启动时下一轮请求发生了什么:

所以我们没有这么大的时间,是的,我们在一些请求中仍然有一些相对较大的增量(这对我来说也很奇怪),但事情看起来好多了。

因此,我正在寻找真正了解幕后情况的人的澄清,因为这对于使用云的严肃应用程序来说不是一个好的行为,因为它具有“无限”的可能性。

另一个问题与区域内帐户内所有 lambda 中的 lambda-200 并发调用的另一个限制有关。对我来说,这对于具有大量流量的大型应用程序来说也是一个很大的限制。因此,由于我目前的业务案例(我不知道未来)或多或少地火了并且忘记了请求。我开始考虑以网关将数据直接发送到流的方式更改逻辑,而另一个 lambda 负责验证和进一步处理。是的,我正在失去当前的抽象(我目前不需要),但我正在多次提高应用程序的可用性。你怎么看?

【问题讨论】:

    标签: java amazon-web-services aws-lambda aws-api-gateway amazon-kinesis


    【解决方案1】:

    Lambda 执行时间飙升至 18 秒,因为 AWS 使用您的代码启动了新容器来处理传入请求。引导时间约为 18 秒。

    分配更多 RAM 可以显着提高 lambda 函数的性能,因为您拥有更多 RAM、CPU 和网络吞吐量!

    另一个问题与一个区域内帐户中所有 lambda 的 lambda-200 并发调用的另一个限制有关。

    您可以要求 AWS Support 提高该限制。我要求将该限制增加到 10,000 次调用/秒,AWS Support 很快就做到了!

    【讨论】:

    • 好的,但是我提供的时间是在我的代码中计算的(正如你可以假设的那样),这意味着在最坏的情况下(在提供的测试中它是 18 秒)从处理程序对象初始化开始耗时 18 秒,整个代码执行速度较慢 - 与某些调用中的 100-200 毫秒相比,kinesis put 操作为 6-7 秒。所以代码正在执行,但速度较慢。关于限制增加 - 很高兴知道他们对此类询问的反应很快。
    【解决方案2】:

    您可以通过 API Gateway 直接代理到 Kinesis 流。您会在验证和转换方面失去一些控制,但不会出现您从 Lambda 看到的冷启动延迟。

    您可以使用 API Gateway 映射模板来转换数据,如果验证很重要,您可以在流的另一端处理 Lambda 时执行此操作。

    【讨论】:

    • 是的,实际上这就是我开始测试的,因为我意识到这样我就有可能获得大量的流量,而不会花费我太多的工作和金钱,而且系统是更像是“发出请求并忘记它”,这应该可以完美地完成工作。谢谢!
    猜你喜欢
    • 2020-05-01
    • 1970-01-01
    • 2019-07-22
    • 2019-10-16
    • 2020-04-01
    • 2021-08-31
    • 1970-01-01
    • 1970-01-01
    • 2019-01-03
    相关资源
    最近更新 更多