Node.js 如何等待异步调用（readdir 和 stat）

Question

我正在使用服务器端的 post 方法来检索请求目录中的所有文件（非递归），下面是我的代码。

在不使用 setTimeout 的情况下，我无法使用更新的 pathContent 发回回复 (res.json(pathContent);)。

我了解这是由于所使用的文件系统方法（readdir 和 stat）的异步行为造成的，因此需要使用某种回调、异步或承诺技术。

我尝试将async.waterfall 与readdir 的整个主体一起用作一个函数，将res.json(pathContent) 作为另一个函数，但它没有将更新后的数组发送到客户端。

我知道关于这个异步操作有成千上万个问题，但在阅读了许多帖子后，我不知道如何解决我的问题。

任何 cmets 将不胜感激。谢谢。

const express = require('express');
const bodyParser = require('body-parser');
const fs = require('fs');
const path = require('path');

var pathName = '';
const pathContent = [];

app.post('/api/files', (req, res) => {
    const newPath = req.body.path;
    fs.readdir(newPath, (err, files) => {
        if (err) {
            res.status(422).json({ message: `${err}` });
            return;
        }
        // set the pathName and empty pathContent
        pathName = newPath;
        pathContent.length = 0;

        // iterate each file
        const absPath = path.resolve(pathName);
        files.forEach(file => {
            // get file info and store in pathContent
            fs.stat(absPath + '/' + file, (err, stats) => {
                if (err) {
                    console.log(`${err}`);
                    return;
                }
                if (stats.isFile()) {
                    pathContent.push({
                        path: pathName,
                        name: file.substring(0, file.lastIndexOf('.')),
                        type: file.substring(file.lastIndexOf('.') + 1).concat(' File'),
                    })
                } else if (stats.isDirectory()) {
                    pathContent.push({
                        path: pathName,
                        name: file,
                        type: 'Directory',
                    });
                }
            });
        });
    });    
    setTimeout(() => { res.json(pathContent); }, 100);
});

Answer 1

最简单和最干净的方法是使用await/async，这样您就可以使用promise，并且代码几乎看起来像同步代码。

因此，您需要readdir 和stat 的承诺版本，可以由utils 核心库的promisify 创建。

const { promisify } = require('util')

const readdir = promisify(require('fs').readdir)
const stat = promisify(require('fs').stat)

async function getPathContent(newPath) {
  // move pathContent otherwise can have conflicts with concurrent requests
  const pathContent = [];

  let files = await readdir(newPath)

  let pathName = newPath;
  // pathContent.length = 0;  // not needed anymore because pathContent is new for each request

  const absPath = path.resolve(pathName);

  // iterate each file

  // replace forEach with (for ... of) because this makes it easier 
  // to work with "async" 
  // otherwise you would need to use files.map and Promise.all
  for (let file of files) {
    // get file info and store in pathContent
    try {
      let stats = await stat(absPath + '/' + file)
      if (stats.isFile()) {
        pathContent.push({
          path: pathName,
          name: file.substring(0, file.lastIndexOf('.')),
          type: file.substring(file.lastIndexOf('.') + 1).concat(' File'),
        })
      } else if (stats.isDirectory()) {
        pathContent.push({
          path: pathName,
          name: file,
          type: 'Directory',
        });
      }
    } catch (err) {
      console.log(`${err}`);
    }
  }

  return pathContent;
}

app.post('/api/files', (req, res, next) => {
  const newPath = req.body.path;
  getPathContent(newPath).then((pathContent) => {
    res.json(pathContent);
  }, (err) => {
    res.status(422).json({
      message: `${err}`
    });
  })
})

并且您不应该使用+ (absPath + '/' + file) 连接路径，而是使用path.join(absPath, file) 或path.resolve(absPath, file)。

而且您永远不应该以这样一种方式编写代码：为请求执行的代码依赖于全局变量，例如 var pathName = ''; 和 const pathContent = [];。这可能适用于您的测试环境，但肯定会导致生产中的问题。其中两个请求同时处理变量“同时”

Answer 2

这里有一些选项：

• 使用同步文件方法（查看文档，但它们通常以Sync 结尾）。速度较慢，但​​代码更改相当简单，而且非常容易理解。
• 使用promises（或util.promisify）为每个统计数据创建一个promise，并使用Promise.all等待所有统计数据完成。之后，您可以使用异步函数和等待，以便更容易阅读代码和更简单的错误处理。 （可能是最大的代码更改，但它会使异步代码更容易理解）
• 记录您已完成的统计数量，如果该数量是您期望的大小，则在统计回调中调用res.json 表单（代码更改最小，但很容易出错）

Answer 3

有不同的方法：

1. 您可以首先使用 new Promise() 对函数进行承诺，然后使用 async/await 或 .then()
2. 可以使用Bluebird包的ProsifyAll()函数(https://www.npmjs.com/package/bluebird)
3. 您可以使用同步版本的 fs 函数
   • https://nodejs.org/api/fs.html#fs_fs_readdirsync_path_options
   • https://nodejs.org/api/fs.html#fs_fs_statsync_path_options

Answer 4

根据我收到的初始评论和参考，我改用了 readdirSync 和 statSync 并且能够使其工作。我还将查看其他答案并了解其他实现方式。

感谢大家的热心投入。

这是我的解决方案。

const express = require('express');
const bodyParser = require('body-parser');
const fs = require('fs');
const path = require('path');

var pathName = '';
const pathContent = [];

app.post('/api/files', (req, res) => {
    const newPath = req.body.path;

    // validate path
    let files;
    try {
        files = fs.readdirSync(newPath);
    } catch (err) {
        res.status(422).json({ message: `${err}` });
        return;
    }

    // set the pathName and empty pathContent
    pathName = newPath;
    pathContent.length = 0;

    // iterate each file
    let absPath = path.resolve(pathName);
    files.forEach(file => {
        // get file info and store in pathContent
        let fileStat = fs.statSync(absPath + '/' + file);
        if (fileStat.isFile()) {
            pathContent.push({
                path: pathName,
                name: file.substring(0, file.lastIndexOf('.')),
                type: file.substring(file.lastIndexOf('.') + 1).concat(' File'),
            })
        } else if (fileStat.isDirectory()) {
            pathContent.push({
                path: pathName,
                name: file,
                type: 'Directory',
            });
        }
    });
    res.json(pathContent);
});