如何获取运行 Node JS 应用程序的 k8s Pod 的当前和准确的内存使用情况

Question

我有一个在 k8s pod 上运行的 NodeJS 应用程序。 pod 的实际大小是 2GB，但在环境变量中，我们将此值设置为 4GB --max-old-space-size=4096（在我的情况下这不是真的 - 对于某些租户，我们确实分配了 4GB，但大多数 pod 有 2GB）。

现在我尝试了 2 种方法来检测内存使用情况和总内存，两者都提供了不同的统计信息。

1. 我正在从此系统文件中获取内存使用情况：/sys/fs/cgroup/memory/memory.usage_in_bytes 和来自该文件的总内存：/sys/fs/cgroup/memory/memory.limit_in_bytes

limit_in_bytes 正确返回 2GB，但 usage_in_bytes 的值波动太大，几分钟内大约为 1GB，即使在那一分钟内没有任何变化（对系统没有压力），下一分钟会飙升至 2GB .

进程统计

Memory Usage POD: 2145124352
shlog - memLimit 214748364

1. 我尝试的第二个选项是使用此 V8 内置节点 js 库来获取堆统计信息：https://nodejs.org/api/v8.html#v8getheapstatistics。 用法：

    const initialStats = v8.getHeapStatistics();
    console.log("heap_size_limit: ", (initialStats.heap_size_limit)); // total memory
    console.log("total_heap_size: ", (initialStats.total_heap_size)); // current usage
   

现在在总内存中，它返回 4G，这在我的情况下是不正确的。但是这里的当前用法似乎很正确。

同一进程的统计数据

total_heap_size: 126312448,
heap_size_limit: 4320133120,

v8 getHeapStatistics 方法的完整响应：

HeapStats:  {
    total_heap_size: 126312448,
    total_heap_size_executable: 1097728,
    total_physical_size: 124876920,
    total_available_size: 4198923736,
    used_heap_size: 121633632,
    heap_size_limit: 4320133120,
    malloced_memory: 73784,
    peak_malloced_memory: 9831240,
    does_zap_garbage: 0,
    number_of_native_contexts: 1,
    number_of_detached_contexts: 0
}

我的目标是根据 pod 的总内存来检测内存使用情况，因此当内存消耗达到 85% 时进行一些节流。我愿意使用第一种方法，但请告诉我为什么内存使用量差异如此之大，以及如何获得 pod 的准确内存使用情况。

真的很期待在这方面得到一些帮助。谢谢。

Answer 1

要获得进程的总体内存消耗，请查看（并信任）操作系统的设施。

Node 的 v8.getHeapStatistics 告诉您所有 JavaScript 对象所在的托管（也称为垃圾收集）堆。但是在这个过程中可能还有很多其他的非垃圾收集的内存，例如节点缓冲区和某些字符串，以及不在托管堆上的各种通用基础设施。在一般的 Chrome 渲染器进程中，JavaScript 堆往往占总内存消耗的三分之一左右，但在两个方向上都有明显的异常值；对于 Node 应用程序，这在很大程度上取决于您的应用程序在做什么。

将 V8 的最大堆大小（同样，它只是进程整体内存使用的垃圾收集部分）设置为大于您可用的内存量的值没有多大意义：它会导致可避免的崩溃，因为当 V8 认为还有大量可用内存时，它不会在垃圾收集上花费太多时间，但是 OS/pod 作为一个整体可能已经面临内存不足的情况。这就是我链接另一个答案的原因：您很可能希望将最大堆大小设置为比可用内存小一点，以便为垃圾收集器提供正确的提示，告诉您何时更努力地工作以保持在限制之下。