使用具有最大行数的nodejs读取csv文件

Question

我正在尝试使用 csv-parser 库读取带有 node.js 的 CSV 文件。

由于它是一个大文件，我需要检查标题和第一行 100 并停止该方法，如果一切正常，则返回 true，如果数据不符合条件，则返回 false。

我怎样才能做到这一点？

这是我目前所拥有的：

const csv = require('csv-parser');
const fs = require('fs');    
exports.checkFileFormat = (file) => {
  let stream = fs.createReadStream(file.tempFilePath)
    .pipe(csv())
    .on('headers', (headers) => {
      /*...some logic...*/
    })
    .on('data', (row) => {
      if (!typeof (row["USAGE"]) == 'number'
          || !moment(row["START_DATE"], 'YYYYMMDD', true).isValid()
          || !moment(row["END_DATE"], 'YYYYMMDD', true).isValid()) {
        stream.unpipe(csv());
        return false;
      }       
    })
    .on('end', () => {
       console.log('CSV file successfully processed');
    });
    return true;
}

在之前的版本中，我还声明了：var num = 100 并在 .on('data', (row) => {...} 内部对其进行了测试，但它不起作用。

Answer 1

跟进我的评论

使函数checkFileFormat 返回一个承诺。在 promise 内部，resolve(false) 代替了 '.on('end') 回调中的 return false 和 resolve(true)。我不完全确定这会奏效，但这就是我的处理方式

const csv = require('csv-parser');
const fs = require('fs');

exports.checkFileFormat = (file) => {
    return new Promise((resolve, reject) => {
        let stream = fs.createReadStream(file.tempFilePath)
            .pipe(csv())
            .on('headers', (headers) => {
                /*...some logic...*/
            })
            .on('data', (row) => {
                if (!typeof (row["USAGE"]) == 'number'
                    || !moment(row["START_DATE"], 'YYYYMMDD', true).isValid()
                    || !moment(row["END_DATE"], 'YYYYMMDD', true).isValid()) {
                    stream.end(); // stream.unpipe(csv());
                    resolve(false);
                }
            })
            .on('end', () => {
                console.log('CSV file successfully processed');
                resolve(true);
            });
    });    
}

Answer 2

如果你想读到一定数量的行然后换行，你可以尝试以下方法：

const csv = require('csv-parser');
const fs = require('fs');
let count = 0;
let maxLines = 3;
let fsStream = fs.createReadStream('./data.csv');
let csvStream = csv();

fsStream.pipe(csvStream)
    .on('headers', (headers) => {
        console.log(headers)
    })
    .on('data', (data) => {
        if (count >= maxLines) {
            fsStream.unpipe(csvStream);
            csvStream.end();
            fsStream.destroy();             
        } else {
            console.log(data);
            count++;
        }
    });

基本上，您只需计算每个读取行，当达到最大值时，您 unpipe 来自 fs-stream 的 csv-stream，然后是 end csv-stream，最后是 destroy fs-stream。