foreach 中的套接字挂断多个 get 调用答案

【问题标题】：socket hangup multiple get calls in foreachforeach 中的套接字挂断多个 get 调用
【发布时间】：2019-11-17 16:30:21
【问题描述】：

我试图从不同的 URL 获取多张图片，所以我同时使用了 forEach 和 fetch(url)。我还尝试将它们通过管道传输到流中以将它们保存到磁盘。问题是在大约 900 个请求之后，请求计数急剧下降并最终出现错误。这是我正在使用的代码。

   const fetch = require('node-fetch')
   // savedImageURLS is an array of many image urls
   savedImageURLS.forEach((url) => {
      fetch(url).then((res) => {
        console.log(count)
        const dest = fs.createWriteStream(`images/image-${count++}.png`);
        res.body.pipe(dest)
      }).catch((err) => {
        console.log('something went wrong', err)
      })
   })

我得到这个错误：

something went wrong { FetchError: request to https://scontent-yyz1-1.cdninstagram.com/vp/0b261beb7775c9accecc15ef782c2d9e/5E51A24B/t51.2885-15/e35/66648821_222609615365883_2370330998081102527_n.jpg?_nc_ht=scontent-yyz1-1.cdninstagram.com&_nc_cat=103&se=7&ig_cache_key=MjA4NTI1NTY3NTY5Mjk0NDk3NA%3D%3D.2 failed, reason: socket hang up
    at ClientRequest.<anonymous> (/Documents/batcave/instagram-saved-downloader/node_modules/node-fetch/lib/index.js:1455:11)
    at ClientRequest.emit (events.js:160:13)
    at TLSSocket.socketErrorListener (_http_client.js:389:9)
    at TLSSocket.emit (events.js:160:13)
    at emitErrorNT (internal/streams/destroy.js:64:8)
    at process._tickCallback (internal/process/next_tick.js:152:19)
  message: 'request to https://scontent-yyz1-1.cdninstagram.com/vp/0b261beb7775c9accecc15ef782c2d9e/5E51A24B/t51.2885-15/e35/66648821_222609615365883_2370330998081102527_n.jpg?_nc_ht=scontent-yyz1-1.cdninstagram.com&_nc_cat=103&se=7&ig_cache_key=MjA4NTI1NTY3NTY5Mjk0NDk3NA%3D%3D.2 failed, reason: socket hang up'

我不知道出了什么问题。图片网址似乎不是无效的。获取请求的返回速度是否不够快？我的内存不足了吗？任何帮助，将不胜感激。

旁注：我也尝试使用节点 https.get(url) 并遇到同样的问题。

【问题讨论】：

标签： javascript arrays node.js get fetch

【解决方案1】：

当您使用 node-fetch 来调用图像时，应该记住一件事，它是基于 Promise 的，也就是说，它本质上是异步的。如果您进行 N 次 fetch 调用，节点会请求 I/O 操作，从而为您的操作阻塞线程。如果节点进程分配的线程数超过，你总是会得到这个错误。

此外，使用 forEach 循环请求 900 张图像也是一个坏主意。它一定会阻塞你的节点队列。您可以将您的请求分成一组，比如说 X (X > 5) 个 900 的图像，然后串行进行 900/X 次调用，并行进行 X 次调用（仍然不推荐这样做）。

【讨论】：