Express、csvtojson 和 node-walk 出现“结束后写入”错误

Question

我在使用 Express 从 csv 文件发送 JSON 数据时遇到问题。它需要一个 CSV 文件的文件夹，循环遍历，将其全部转换为 JSON，然后在最后将其吐出，但在第一次加载后我收到错误 Error: write after end 和 (node) warning: possible EventEmitter memory leak detected. 11 listeners added. Use emitter.setMaxListeners() to increase limit.。该错误仅适用于我尝试点击/get 路径，而不是主索引页面。

我知道这与关闭或未关闭的读取流有关，但我没有足够的知识来确切地确定要做什么。这是我的代码；任何建议都会很可爱。哒！

Ps，使用的技术有Express、Node-walk和CSVtoJSON。

init.js

var _ = require('underscore')._;
var express = require('express');

var server = express();

server.use(express.static(__dirname + '/frontend/public/'));
server.listen(1234);

var getData = require('./src/getData.js');

server.get('/get', function (req, res) {
  getData.get(function (data) {
    res.send(data);
  })
});

server.get('/', function (req, res) {
  res.sendFile('./index.html');
});

getData.js

var walk      = require('walk');
var fs        = require('fs');
var _         = require('underscore')._;
var csvtojson = require('csvtojson').core.Converter;

var files = [];

var csvConverter = new csvtojson({constructResult: true});

exports.get = function (callback) {

  var csvWalker = walk.walk('./place-csvs-here', {followLinks: false});

  csvWalker.on('file', function (root, stat, next) {
    if (stat.name.match(/[A-Z]+?\-\d+?\.csv/gi)) {
      var filename = root + '/' + stat.name;
      files.push(fs.createReadStream(filename));
    }
    next();
  });

  csvWalker.on('end', function () {
    files.forEach(function (file) {
      file.pipe(csvConverter);
    });
  });

  csvConverter.on('end_parsed', function (data) {
    if (callback) {
      // Ensure rows are unique.
      data = _.uniq(data, function (x) {
        return JSON.stringify(x);
      });
      // Required fields.
      data = _.filter(data, function (x) {
        return (
           x['Date']    !== undefined
        && x['Balance'] !== undefined
        && x['Date']    !== 'Date'
        && x['Balance'] !== 'Balance'
          );
      });
      callback(data);
    }
  });

}

Answer 1

您正在尝试为 所有 请求重复使用 files 和相同的 csv 转换器实例。您还尝试将许多文件同时通过管道传输到一个解析器实例。这可能会使解析器感到困惑。

试试这个getData.js：

var walk      = require('walk');
var fs        = require('fs');
var _         = require('underscore')._;
var csvtojson = require('csvtojson').core.Converter;

exports.get = function (callback) {

  var csvWalker = walk.walk('./place-csvs-here', {followLinks: false});
  var files = [];
  var ret = [];

  csvWalker.on('file', function (root, stat, next) {
    if (stat.name.match(/[A-Z]+?\-\d+?\.csv/gi)) {
      var filename = root + '/' + stat.name;
      files.push(fs.createReadStream(filename));
    }
    next();
  });

  csvWalker.on('end', function () {
    var left = files.length;
    files.forEach(function (file) {
      var csvConverter = new csvtojson({constructResult: true});

      csvConverter.on('end_parsed', function (data) {
        if (callback) {
          if (--left === 0) {
            // Ensure rows are unique.
            ret = _.uniq(ret, function (x) {
              return JSON.stringify(x);
            });
            // Required fields.
            ret = _.filter(ret, function (x) {
              return (
                 x['Date']    !== undefined
              && x['Balance'] !== undefined
              && x['Date']    !== 'Date'
              && x['Balance'] !== 'Balance'
                );
            });
            callback(ret);
          } else
            ret = ret.concat(data);
        }
      });

      file.pipe(csvConverter);
    });
  });

}

这假设 'end_parsed' 上的 csv 转换器传入的 data 始终是一个数组。它结合所有文件中的数据，然后在执行回调之前对数据运行过滤器。