我有一个包含 900 万条记录的集合。我目前正在使用以下脚本来更新整个集合：
simple_update.js
db.mydata.find().forEach(function(data) {
db.mydata.update({_id:data._id},{$set:{pid:(2571 - data.Y + (data.X * 2572))}});
});
这是从命令行运行的，如下所示：
mongo my_test simple_update.js
所以我所做的只是根据简单的计算添加一个新字段 pid。
有没有更快的方法？这需要大量时间。
【问题讨论】：
标签： javascript performance mongodb
您可以做两件事。
该链接还包含以下建议：
这是执行批处理管理工作的好方法。在服务器上运行 mongo，通过 localhost 接口连接。然后连接非常快且延迟低。这比 db.eval() 更友好，因为 db.eval() 会阻止其他操作。
这可能是最快的。您必须意识到在单个服务器上发布 9M 更新将是一项繁重的操作。假设您每秒可以获得 3k 次更新，您仍然在谈论运行近一个小时。
这并不是真正的“mongo 问题”，而是硬件限制。
【讨论】：
我正在使用：db.collection.update method
// db.collection.update( criteria, objNew, upsert, multi ) // --> for reference
db.collection.update( { "_id" : { $exists : true } }, objNew, upsert, true);
【讨论】：
我不建议将 {multi: true} 用于更大的数据集，因为它的可配置性较低。
使用批量插入的更好方法。
批量操作对调度程序任务非常有帮助。假设您必须每天删除超过 6 个月的数据。使用批量操作。它的速度很快，不会减慢服务器的速度。当您插入、删除或更新超过十亿个文档时，CPU、内存使用情况并不明显。我发现 {multi:true} 在处理数百万多个文档时会降低服务器速度（需要对此进行更多研究。）
请参阅下面的示例。它是一个 js shell 脚本，也可以作为节点程序在服务器中运行。（使用 npm 模块 shelljs 或类似的方式来实现）
将 mongo 更新到 3.2+
更新多个唯一文档的正常方式是
let counter = 0;
db.myCol.find({}).sort({$natural:1}).limit(1000000).forEach(function(document){
counter++;
document.test_value = "just testing" + counter
db.myCol.save(document)
});
我尝试了 310-315 秒。更新一百万个文档需要 5 分钟以上。
我的收藏包含超过 1 亿个文档，因此其他人的速度可能会有所不同。
同样使用bulk insert是
let counter = 0;
// magic no.- depends on your hardware and document size. - my document size is around 1.5kb-2kb
// performance reduces when this limit is not in 1500-2500 range.
// try different range and find fastest bulk limit for your document size or take an average.
let limitNo = 2222;
let bulk = db.myCol.initializeUnorderedBulkOp();
let noOfDocsToProcess = 1000000;
db.myCol.find({}).sort({$natural:1}).limit(noOfDocsToProcess).forEach(function(document){
counter++;
noOfDocsToProcess --;
limitNo--;
bulk.find({_id:document._id}).update({$set:{test_value : "just testing .. " + counter}});
if(limitNo === 0 || noOfDocsToProcess === 0){
bulk.execute();
bulk = db.myCol.initializeUnorderedBulkOp();
limitNo = 2222;
}
});
最佳时间是 8972 毫秒。因此，平均而言，更新一百万个文档只需要 10 秒。比旧方法快 30 倍。
将代码放入 .js 文件并作为 mongo shell 脚本执行。
如果有人找到更好的方法，请更新。让我们以更快的方式使用 mongo。
【讨论】：
开始Mongo 4.2，db.collection.update()可以接受一个聚合管道，最后允许基于另一个字段更新/创建一个字段；从而使我们能够在服务器端完全应用这种查询：
// { Y: 456, X: 3 }
// { Y: 3452, X: 2 }
db.collection.update(
{},
[{ $set: { pid: {
$sum: [ 2571, { $multiply: [ -1, "$Y" ] }, { $multiply: [ 2572, "$X" ] } ]
}}}],
{ multi: true }
)
// { Y: 456, X: 3, pid: 9831 }
// { Y: 3452, X: 2, pid: 4263 }
第一部分{}是匹配查询，过滤要更新的文档（本例中的所有文档）。
第二部分[{ $set: { pid: ... } }] 是更新聚合管道（注意方括号表示使用聚合管道）。 $set 是一个新的聚合运算符，别名为$addFields。请注意pid 是如何根据同一文档中的X ($X) 和Y ($Y) 的值直接创建的。
不要忘记{ multi: true }，否则只会更新第一个匹配的文档。
【讨论】：
不确定它是否会更快，但您可以进行多次更新。只需说update where _id > 0（这对每个对象都是如此），然后将'multi'标志设置为true，它应该做同样的事情而不必遍历整个集合。
【讨论】：