使用猫鼬将大量文档导出为文本文件答案

【问题标题】：Export large number of documents into text file using mongoose使用猫鼬将大量文档导出为文本文件
【发布时间】：2017-07-04 17:39:45
【问题描述】：

我使用来自不同源文件的 Mongoose 模式将大约 60,000 条记录导入 MongoDb。现在我想导出到选定记录的文本文件（也在字段上应用验证 - 例如，猫鼬模式 email1 和 email2 中有两个字段。我必须在 email1 和 email2 之间选择作为导出中的字段（电子邮件）每个记录的文件）。我提到了插件 mongoose-to-csv。是否有任何其他插件或方法可用于此导出到 txt 文件？

是的，我尝试使用 fs 模块。

我希望在 txt 文档中得到类似这样的结果。

"ID","First_Name","Last_Name","Email"
123,ABC, DEF, emailABC@example.com
456,GHI, JKL, emailGDI@exaple.com
.....

我的代码是

Model.find({"ID":{$exist:true}},function(error,result)
{       
var csv = json2csv({data:results, fields:fields, hasCSVColumnTitle:true});  
fs.writeFile('TestFile.csv',csv,function(err)
{   
});  
});

我们可以将这些逗号分隔的值写入文本文件吗？

【问题讨论】：

您可以使用 fs 模块来编写文件并在您的代码中进行验证吗？

标签： node.js mongodb mongoose export-to-text

【解决方案1】：

我并没有实际测试过代码，但它应该可以正常工作（也许有一些小的改动）并且应该可以帮助您理解这个想法。此实现使用将自动处理和写入数据的流。比将所有内容都放在内存中更具可扩展性。从 2.4.0.版本，猫鼬支持流。 event-stream 是处理流数据的优秀库。

var es = require('event-stream');
var fs = require('fs');
var wstream = fs.createWriteStream('TestFile.csv');

Model.find({"ID":{$exist:true}).stream()
.pipe(es.map(function (data, cb) {
      var formated = data;
      formated.email = data.email1 || data.email2;
      var csv = json2csv({data:formated, fields:fields, hasCSVColumnTitle:true});
      cb(null, csv)
    }))
.pipe(wstream);

【讨论】：