使用关联的集合字段进行查找和排序的 MongoDB 聚合正在减慢查询速度

Question

我的 mongodb 数据库中有两个集合，如下所示：

employee_details 包含大约 330000 个文档，其中 department_id 作为部门集合的参考

departments 包含 2 个字段 _id 和 dept_name

的集合

我已将索引添加到集合中，如下所示

db.departments.createIndex( { dept_name: 1 } )
db.employee_details.createIndex( { department_id: 1 } )
db.employee_details.createIndex( { employee_fname: 1 } )

我想通过加入两个集合来获取数据以在数据表中列出。但是当我尝试这样做时，我遇到了两个问题。

首先，当我在查找后添加排序时，查询运行需要很长时间，我在查找后添加了排序，因为我需要使用收集部门的 dept_name 进行排序。查询如下

db.getCollection("employee_details").aggregate([
  {
    $lookup: {
      from: "departments",
      localField: "department_id",
      foreignField: "_id",
      as: "Department"
    }
  },
  { $unwind: { path: "$Department", preserveNullAndEmptyArrays: true } },
  { $sort: { "Department.dept_name": 1 } },
  { $limit: 30 }
]);

第二次，当我在查找上方添加排序时，查询会变得很快，但如果我使用 dept_name 或 department_id 排序，结果会给出错误排序（排序适用于 employee_details 集合的字段）。查询如下

db.getCollection("employee_details").aggregate([
  { $unwind: { path: "$Department", preserveNullAndEmptyArrays: true } },
  { $sort: { "Department.dept_name": 1 } },
  //{ $sort: { "department_id": 1 } }, // tried this also
  { $limit: 30 },
  {
    $lookup: {
      from: "departments",
      localField: "department_id",
      foreignField: "_id",
      as: "Department"
    }
  }
]);

有人可以提供一个优化的解决方案，用于从所有相关集合中获取数据以及排序。 提前谢谢你。

Answer 1

试试这个：

db.departments.aggregate([
  {
    $sort: {
      "dept_name": 1
    }
  },
  {
    $lookup: {
      from: "employee_details",
      localField: "_id",
      foreignField: "department_id",
      as: "Employee"
    }
  },
  {
    $unwind: "$Employee"
  },
  {
    $addFields: {
      tmp: {
        $mergeObjects: [
          {
            Department: "$$ROOT"
          },
          "$Employee"
        ]
      }
    }
  },
  {
    $project: {
      "tmp.Department.Employee": 0
    }
  },
  {
    $addFields: {
      "tmp.Department": [
        "$tmp.Department"
      ]
    }
  },
  {
    $replaceRoot: {
      newRoot: "$tmp"
    }
  },
  {
    $limit: 30
  }
])

MongoPlayground

Answer 2

您可以使用以下聚合：

db.getCollection("departments").aggregate([
    {
        $sort: {
            "dept_name": 1
        }
    },
    {
        $lookup: {
            from: "employee_details",
            localField: "_id",
            foreignField: "department_id",
            as: "employees"
        }
    },
    {
        $unwind: "$employees"
    },
    {
        $limit: 30
    },
    { $addFields: { "employees.department_name": "$dept_name" } },
    { $replaceRoot: { newRoot: "$employees" } }
])

这适用于 MongoDB 3.4 版，即使没有任何索引也足够快。