当内存利用率超过限制时横向扩展 GAE

Question

我将 GAE 用于需要大量内存的繁重任务。我收到以下错误：

Exceeded soft memory limit of 512 MB with 561 MB 
after servicing 3 requests total. 
Consider setting a larger instance class in app.yaml.

由于任务很昂贵，我假设两个应用程序可以在一个实例中运行。但它不适用于三个应用程序：

While handling this request, 
the process that handled this request was found to be using 
too much memory and was terminated. 
This is likely to cause a new process to be used 
for the next request to your application. 
If you see this message frequently, 
you may have a memory leak in your application or may be 
using an instance with insufficient memory.
Consider setting a larger instance class in app.yaml.

我当前的设置：

runtime: nodejs8
instance_class: B4
basic_scaling:
max_instances: 10
idle_timeout: 1m

我也尝试了这些设置：

runtime: nodejs8
instance_class: F4
automatic_scaling:
  target_cpu_utilization: 0.5
  max_instances: 10

执行任务失败是“Exceeded soft memory limit”。 所以，为了解决这个错误，我认为横向扩展应该基于“内存利用率”而不是“cpu利用率”。

内存利用率超过限制时如何进行横向扩展？

Answer 1

动态实例调度程序的决策并非基于实例内存使用情况。来自Scaling dynamic instances：

App Engine 调度程序决定是否为每个新请求提供服务 使用现有实例（空闲或接受 并发请求），将请求放入待处理的请求队列中，或 为该请求启动一个新实例。该决定考虑到 可用实例的数量，应用程序的运行速度 一直在服务请求（它的延迟），以及启动一个请求需要多长时间 新实例。

您收到的所有错误消息都显示在错误发生之前处理的请求数量非常少，这表明内存不足非常严重。

不清楚的是，高内存使用量是来自单个请求还是与多个并发请求有关 - 即请求同时命中一个实例（或彼此太接近而无法释放内存机制，如果有的话，跟上）。但这可以通过实验确定。

如果多个并发传入请求导致实例内存使用量超过阈值，您可以尝试通过控制target_throughput_utilization 和/或max_concurrent_requests 旋钮来处理它：

Target Throughput Utilization

设置并发请求数的吞吐量阈值 之后将启动更多实例来处理流量。

Max Concurrent Requests

设置实例可以接受的最大并发请求数 调度程序生成一个新实例。

如果即使没有同时处理多个请求的实例也达到了内存限制（或者如果您希望能够同时服务更多实例 - 通常是为了降低成本），那么您可以解决它的唯一方法是使用 @987654324 @内存更多。你试过的F4和B4类都是512M，试试F4_1G/B4_1G，都是1G。