在管道获取对客户端的响应时防止内存/连接泄漏

Question

上下文：

我有一些代码大致如下：

const express = require("express");
const app = express();
const fetch = require('node-fetch');

app.get("/file/:path", async function(request, response) {
  const path = request.params.path;
  
  const reqController = new AbortController();
  const reqTimeout = setTimeout(() => reqController.abort(), 10000);

  const r = await fetch(`https://cdn.example.com/${encodeURIComponent(path)}`, {
    timeout:10000,
    signal: reqController.signal,
  }).catch(e => false).finally(() => clearTimeout(reqTimeout));

  if(r === false || !r.ok) {
    response.send("error");
  } else {
    r.body.pipe(response);
  } 
});

...

所以您可以看到，我只是使用node-fetch 获取响应，然后将其传送到客户端响应流。

请注意，在实际代码中，我对错误的处理比.catch(e => false) 更好。很少有错误（几个月没有错误），所以我想我会省略这些细节。

问题：

此代码泄漏 TCP 连接或内存的可能方式有哪些？我如何“覆盖”这些案例？

额外信息：

我原以为默认情况下node-fetch/express 会有默认的流式超时（基于自收到最后一个块以来的时间），以防止泄漏，但情况似乎并非如此。

我试过添加这样的代码：

r.body.on('error', (error) => { 
  response.connection.destroy();
});
response.on('error', (error) => {
  r.body.cancel();
});

r.body.pipe(response);

我对 node-fetch 和 Node.js 的流的内部没有很好的理解，所以这只是对可能涵盖某种异常故障模式的猜测，但事实证明这并没有解决问题。

请注意，我使用的是node-fetch 的timeout 选项（它是浏览器fetch 中不可用的特殊扩展名）。但是我刚刚编辑了第一个代码块，以表明我也在真实/未简化的代码中使用了中止信号。我最初添加了中止信号，因为我认为timeout 选项可能存在错误，但我仍然看到连接泄漏。现在仔细研究一下，我发现timeout 选项重置了重定向的超时时间，所以这可能是连接泄漏的一个有趣原因（继续无限重定向？但我猜无论如何都有重定向限制），但是唉，这不是我在这里遇到的问题，因为我也收到了中止信号。我正在使用 node-fetch v2.6.1 和 Node.js v14.7.0。

在应用程序/服务器重启几分钟后，知道这就是我在 netstat -an 和 cat /proc/net/sockstat 上看到的内容，这也可能会有所帮助：

{
  LISTEN: 37,
  TIME_WAIT: 4644,
  ESTABLISHED: 268,
  CLOSE_WAIT: 1,
  SYN_SENT: 1,
  SYN_RECV: 4,
  FIN_WAIT1: 3
}
sockets: used 801
TCP: inuse 94 orphan 4 tw 4642 alloc 312 mem 5305
UDP: inuse 2 mem 1
UDPLITE: inuse 0
RAW: inuse 0
FRAG: inuse 0 memory 0

几个小时后，您可以看到/proc/net/sockstat 中的 TCP mem 值大幅攀升：

{
  LISTEN: 37,
  TIME_WAIT: 4151,
  CLOSE_WAIT: 37,
  ESTABLISHED: 337,
  LAST_ACK: 1,
  SYN_SENT: 1,
  SYN_RECV: 4
}
sockets: used 897
TCP: inuse 171 orphan 0 tw 4151 alloc 413 mem 63487
UDP: inuse 2 mem 0
UDPLITE: inuse 0
RAW: inuse 0
FRAG: inuse 0 memory 0

几天后，mem 增长到大约 600k，接近我在/proc/sys/net/ipv4/tcp_mem 中看到的最大/临界阈值设置。 tcp inuse 值达到 5k 左右。服务器每秒处理大约十几个请求，因此微小/罕见的泄漏可能会在几天内变得很严重。

我尝试过每隔几分钟手动触发一次垃圾收集，以防这是由于奇怪/错误的 GC 调度（只是一个疯狂的猜测），但这没有帮助。

Answer 1

阅读这篇文章以了解如何中止提取请求：https://davidwalsh.name/cancel-fetch

您可以设置超时来中止您的 fetch 调用：

fetch(`https://cdn.example.com/${encodeURIComponent(path)}`, { signal }).then(response => {
    console.log(`Request is complete!`);
}).catch(e => {
    if(e.name === "AbortError") {
        // We know it's been canceled!
        console.warn(`Fetch aborted: ${e.message}`);
    }
    else{
      console.warn(`Some other fetch error: ${e.message}`);
    }
});

// Wait 2 seconds to abort the request
setTimeout(() => controller.abort(), 2000);