如何使用 Javascript 在 Mongo shell 中处理数百万个文件？

Question

可以说，我的文件有以下内容，位于 /home/usr1/Documents/companyNames.txt

姓名1

名字 2

名字 3

数以百万计的名字...

我尝试了以下代码：

$> var string = cat('home/usr1/Documents/companyNames.txt');
$> string = string.split('\n');
$> db.records.find({field: {$in: string}});

根据链接Can I read a csv file inside of a Mongo Shell Javascript file?中的代码

这在文件很小的情况下有效，但当文件有数百万行时它会失败。文件中的整行都试图装入内存并崩溃。有没有其他方法可以在 Mongo shell 中使用 Java 脚本处理大文件？

Answer 1

Mongo 不太擅长处理大型查询。

您可能必须采用 Javascript 方式：

var string = cat('home/usr1/Documents/companyNames.txt');
string = string.split('\n');
let results = [];
string.forEach(string => result.push(db.records.find({field: {$eq: string}})));