Nodejs - 内存泄露调查

Nodejs - 内存泄露调查

• 内存使用设置
• 设置例
• 插件安装
• memwatch-next
• 安装
• 测试代码追加
• HeapDump
• 安装
• 测试代码追加
• 压力测试后的结果
• Google DevTools比较文件

Nodejs内部使用V8的解析器，内存使用上限大约为 1.7G 左右，
内存的回收机制却是，一直占用，直到快满的时候才释放回收。
虽然EC2的类型设置为了 m5 的内存优化类型，但是node服务器的性能并没有改善，
客户端1s间隔的频率向服务器发送信息后，服务器端内存的使用一直持续增长，
需要导入工具调查是否内存有泄露

内存使用设置

node程序的几个GC相关参数

–trace_gc，打印 GC 日志
–expose-gc，暴露 GC 方法，可以手动调用 global.gc() 来强制执行 GC 过程
–max-new-space-size，最大 new space 大小，执行 scavenge 回收，默认 16M，单位 KB
–max-old-space-size，最大 old space 大小，执行 MarkSweep 回收，默认 1.7G，单位 MB
–gc-global，强制每次执行 MarkSweep

可以通过调节这些参数的配置，观察 GC 日志中 sweeping from（内存积压状况）、Mark-sweep（MarkSweep 用时）等，来优化 GC 过程.

设置例

使用babel，动态适用ES 5 / 6

babel-node --max-old-space-size=100 --expose-gc src/server.js

插件安装

memwatch-next

源码 memwatch-next
检查是否有内存泄漏，

安装

npm install memwatch-next

测试代码追加

import memwatch from 'memwatch-next';

let count = 1;
memwatch.on('stats', (stats) => { 
  console.log(count++, stats);
});
memwatch.on('leak', (info) => {
  console.log('---');
  console.log(info);
  console.log('---');
});

主要有两个事件组成

1. stats：gc 事件，每执行一次 gc，触发该函数，打印 heap 相关信息

   {
   num_full_gc: 1,// 完整的垃圾回收次数
   num_inc_gc: 1,// 增长的垃圾回收次数
   heap_compactions: 1,// 内存压缩次数
   usage_trend: 0,// 使用趋势
   estimated_base: 5350136,// 预期基数
   current_base: 5350136,// 当前基数
   min: 0,// 最小值
   max: 0// 最大值
   }

2. leak：内存泄露事件，触发该事件的条件是：连续 5 次 gc 后内存都是增长的。打印如下：

   { growth: 4051464, reason: ‘heap growth over 5 consecutive GCs (2s) - -2147483648 bytes/hr’ }
   显示增加了多少内存，原因和每小时预计的增加量

HeapDump

源码 node-heapdump
dump出内存的使用信息，通过Chrome DevTools解析使用情况

安装

npm install heapdump

测试代码追加

import heapdump from 'heapdump';

dump();
// 在Leak前后各快照一次dump情报，用来比较
memwatch.on('leak', (info) => {
  dump();
  console.log('---');
  console.log(info);
  console.log('---');
});

// dump到/vagrant/src/下面
function dump() {
  const filename = `${__dirname}/heapdump-${process.pid}-${Date.now()}.heapsnapshot`;

  heapdump.writeSnapshot(filename, () => {
    console.log(`${filename} dump completed.`);
  });
}

压力测试后的结果

发生内存泄露时，生成如下的文件，

heapdump-5338-1551928788865.heapsnapshot
heapdump-5427-1551928942997.heapsnapshot

Google DevTools比较文件

导入文件到DevTool，

参照 ヒープのスナップショットを記録する方法