Mongodb/Mongoose bulkwrite(upsert) 性能问题

Question

我在我们的 Nodejs api 中使用 mongoDB 和 mongoose，我们需要为数据源是 JSON 的集合做某种种子，我正在使用 Model.bulkwrite，它在内部使用 mongodb 的 Bulkwrite(https://docs.mongodb.com/manual/core/bulk-write-operations)。 代码如下，

await Model.bulkWrite(docs.map(doc => ({
    updateOne: {  ..... } // update document
    insertOne: { ....... } // insert document
    updateOne: {  ..... } // update document
    insertOne: { ....... } // insert document
    .
    .
    .n
})))

这适用于我们当前只有几百个文档的用例， 但是我们担心它会如何扩展，当文档数量增加很多时它的性能，比如当文档数量达到 10000 时会有什么问题。 只是想确认我们是否走在正确的道路上，或者是否有任何改进的余地。

Answer 1

Mongodb 中的 Bulkwrite 目前在单个批次中的最大限制为 100,000 次写入操作。来自文档

每组的操作数不能超过数据库的maxWriteBatchSize的值。从 MongoDB 3.6 开始，此值为 100,000。该值显示在 isMaster.maxWriteBatchSize 字段中。

此限制可防止出现过大错误消息的问题。如果一组 超过此限制，客户端驱动程序将组划分为更小的 计数小于或等于限制值的组。为了 例如，maxWriteBatchSize 值为 100,000，如果队列 由 200,000 个操作组成，驱动程序创建 2 个组，每个组具有 100,000 次操作。

因此，在超出此限制之前，您不会遇到任何性能问题。

供您参考：

• Mongodb Bulkwrite: db.collection.bulkWrite()

• Write Command Batch Limit Size