当我有大量对象时，如何将 insertMany 与 Mongoose 一起使用？

Question

我正在尝试使用 insertMany 方法，但没有成功...我阅读了这个 stackoverflow answer，但它没有说明如何处理非常大的对象数组。

在我的测试用例中，我有 9755 个对象，使用此脚本将所有行导入 9 次，这不是我想要的...

我想在每次导入时将数组分成 1000 个对象的块。

我该怎么做？

function bulkImportToMongo(arrayToImport, mongooseModel) {
  const Model = require(`../../../models/${mongooseModel}`);
  let counter = 0;
  let temp = [];
  arrayToImport.forEach(item => {
    temp.push(item);
    counter++;

    if (counter % 1000 == 0) {
      Model.insertMany(temp).then(mongoosedocs => {
        console.log(`imported ${counter} objects`);
        console.log(mongoosedocs.length);
        temp = [];
      });
    }
  });
}

Answer 1

您需要创建一个批次数组（每个批次不超过 100 个元素）。对于每个批处理调用Model.insertMany。要等到所有文档都插入，你Promise.all：

function bulkImportToMongo(arrayToImport, mongooseModel) {
  const Model = require(`../../../models/${mongooseModel}`);
  const batchSize = 100;
  let batchCount = Math.ceil(arrayToImport.length / batchSize);
  let recordsLeft = arrayToImport.length;
  let ops = [];
  let counter = 0;
  for (let i = 0; i < batchCount; i++) {
    let batch = arrayToImport.slice(counter, counter + batchSize);
    counter += batchSize;
    ops.push(Model.insertMany(batch));
  }
  return Promise.all(ops);
}