【问题标题】:MongoDB merge related collection item count with other collection resultsMongoDB 将相关收集项计数与其他收集结果合并
【发布时间】:2015-03-18 22:23:39
【问题描述】:

我是 mongodb 的新手,正在尝试弄清楚如何有效地查询集合中的每个项目。

我有projects 收藏和tasks 收藏

//projects
{
   _id: ObjectId(),
   name: String
}
//tasks
{
   _id: ObjectId(),
   projectId: ObjectId(), //reference project id
   completed: Bool
}

我想获取所有项目,然后计算每个项目的completedincomplete 任务

db.projects.find({})...
//perhaps something similar in output
[
 {
   _id: ObjectId(), //projectId
   name: String
   completed: Number,
   incomplete: Number
 }
]

我使用猫鼬作为 ORM。我不知道这在猫鼬甚至本机 mongodb 查询中是否可行。感谢任何帮助。谢谢!

【问题讨论】:

    标签: node.js mongodb mongoose mongodb-query aggregation-framework


    【解决方案1】:

    无论您怎么看,只要您有这样的规范化关系,您就需要两个查询来获取包含“tasks”集合中的详细信息并填写“projects”集合中的详细信息的结果。 MongoDB 不以任何方式使用连接,mongoose 也不例外。 Mongoose 确实提供了.populate(),但这只是方便魔术,因为它本质上是运行另一个查询并将结果合并到引用的字段值上。

    因此,在这种情况下,您最终可能会考虑将项目信息嵌入任务中。当然会有重复,但使用单一集合会使查询模式更加简单。

    将集合与引用模型分开,您基本上有两种方法。但首先您可以使用aggregate 以获得更符合您实际需求的结果:

          Task.aggregate(
            [
              { "$group": {
                "_id": "$projectId",
                "completed": {
                  "$sum": {
                    "$cond": [ "$completed", 1, 0 ]
                  }
                },
                "incomplete": {
                  "$sum": {
                    "$cond": [ "$completed", 0, 1 ]
                  }
                }
              }}
            ],
            function(err,results) {
    
            }
        );
    

    这仅使用$group 管道来累积“tasks”集合中“projectid”的值。为了计算“完成”和“未完成”的值,我们使用$cond 运算符,它是一个三元组来决定将哪个值传递给$sum。由于此处的第一个或“if”条件是布尔评估,因此现有的布尔“完整”字段将执行,将 where true 传递给“then”或“else”并传递第三个参数。

    这些结果没有问题,但它们不包含来自“项目”集合中收集的“_id”值的任何信息。使输出看起来像这种方式的一种方法是从返回的“结果”对象的聚合结果回调中调用 .populate() 的模型形式:

        Project.populate(results,{ "path": "_id" },callback);
    

    在这种形式中,.populate() 调用将一个对象或数据数组作为它的第一个参数,第二个是人口的选项文档,这里的必填字段是“路径”。这将处理任何项目并从被调用的模型中“填充”,将这些对象插入回调中的结果数据中。

    作为一个完整的示例清单:

    var async = require('async'),
        mongoose = require('mongoose'),
        Schema = mongoose.Schema;
    
    var projectSchema = new Schema({
      "name": String
    });
    
    var taskSchema = new Schema({
      "projectId": { "type": Schema.Types.ObjectId, "ref": "Project" },
      "completed": { "type": Boolean, "default": false }
    });
    
    var Project = mongoose.model( "Project", projectSchema );
    var Task = mongoose.model( "Task", taskSchema );
    
    mongoose.connect('mongodb://localhost/test');
    
    async.waterfall(
      [
        function(callback) {
          async.each([Project,Task],function(model,callback) {
            model.remove({},callback);
          },
          function(err) {
            callback(err);
          });
        },
    
        function(callback) {
          Project.create({ "name": "Project1" },callback);
        },
    
        function(project,callback) {
          Project.create({ "name": "Project2" },callback);
        },
    
        function(project,callback) {
          Task.create({ "projectId": project },callback);
        },
    
        function(task,callback) {
          Task.aggregate(
            [
              { "$group": {
                "_id": "$projectId",
                "completed": {
                  "$sum": {
                    "$cond": [ "$completed", 1, 0 ]
                  }
                },
                "incomplete": {
                  "$sum": {
                    "$cond": [ "$completed", 0, 1 ]
                  }
                }
              }}
            ],
            function(err,results) {
              if (err) callback(err);
              Project.populate(results,{ "path": "_id" },callback);
            }
          );
        }
      ],
      function(err,results) {
        if (err) throw err;
        console.log( JSON.stringify( results, undefined, 4 ));
        process.exit();
      }
    );
    

    这将产生如下结果:

    [
        {
            "_id": {
                "_id": "54beef3178ef08ca249b98ef",
                "name": "Project2",
                "__v": 0
            },
            "completed": 0,
            "incomplete": 1
        }
    ]
    

    所以.populate() 适用于这种聚合结果,即使是有效的另一个查询,通常应该适用于大多数用途。然而,清单中包含一个特定示例,其中创建了“两个”项目,但当然只有“一个”任务仅引用其中一个项目。

    由于聚合正在处理“任务”集合,因此它对任何未在其中引用的“项目”一无所知。为了获得包含计算总数的完整“项目”列表,您需要更具体地运行两个查询并“合并”结果。

    这基本上是对不同键和数据的“哈希合并”,但是对此的好帮手是一个名为 nedb 的模块,它允许您以与 MongoDB 查询和操作更一致的方式应用逻辑。

    基本上,您需要“项目”集合中的数据副本以及增强字段,然后您希望将该信息与聚合结果“合并”或.update()。再次作为一个完整的清单来演示:

    var async = require('async'),
        mongoose = require('mongoose'),
        Schema = mongoose.Schema,
        DataStore = require('nedb'),
        db = new DataStore();
    
    
    var projectSchema = new Schema({
      "name": String
    });
    
    var taskSchema = new Schema({
      "projectId": { "type": Schema.Types.ObjectId, "ref": "Project" },
      "completed": { "type": Boolean, "default": false }
    });
    
    var Project = mongoose.model( "Project", projectSchema );
    var Task = mongoose.model( "Task", taskSchema );
    
    mongoose.connect('mongodb://localhost/test');
    
    async.waterfall(
      [
        function(callback) {
          async.each([Project,Task],function(model,callback) {
            model.remove({},callback);
          },
          function(err) {
            callback(err);
          });
        },
    
        function(callback) {
          Project.create({ "name": "Project1" },callback);
        },
    
        function(project,callback) {
          Project.create({ "name": "Project2" },callback);
        },
    
        function(project,callback) {
          Task.create({ "projectId": project },callback);
        },
    
        function(task,callback) {
          async.series(
            [
    
              function(callback) {
                Project.find({},function(err,projects) {
                  async.eachLimit(projects,10,function(project,callback) {
                    db.insert({
                      "projectId": project._id.toString(),
                      "name": project.name,
                      "completed": 0,
                      "incomplete": 0
                    },callback);
                  },callback);
                });
              },
    
              function(callback) {
                Task.aggregate(
                  [
                    { "$group": {
                      "_id": "$projectId",
                      "completed": {
                        "$sum": {
                          "$cond": [ "$completed", 1, 0 ]
                        }
                      },
                      "incomplete": {
                        "$sum": {
                          "$cond": [ "$completed", 0, 1 ]
                        }
                      }
                    }}
                  ],
                  function(err,results) {
                    async.eachLimit(results,10,function(result,callback) {
                      db.update(
                        { "projectId": result._id.toString() },
                        { "$set": {
                            "complete": result.complete,
                            "incomplete": result.incomplete
                          }
                        },
                        callback
                      );
                    },callback);
                  }
                );
              },
    
            ],
    
            function(err) {
              if (err) callback(err);
              db.find({},{ "_id": 0 },callback);
            }
          );
        }
      ],
      function(err,results) {
        if (err) throw err;
        console.log( JSON.stringify( results, undefined, 4 ));
        process.exit();
      }
    

    这里的结果:

    [
        {
            "projectId": "54beef4c23d4e4e0246379db",
            "name": "Project2",
            "completed": 0,
            "incomplete": 1
        },
        {
            "projectId": "54beef4c23d4e4e0246379da",
            "name": "Project1",
            "completed": 0,
            "incomplete": 0
        }
    ]
    

    这列出了来自每个“项目”的数据,并包括来自与其相关的“任务”集合的计算值。

    因此,您可以采取一些方法。同样,您最终可能最好将“任务”嵌入到“项目”项中,这又是一种简单的聚合方法。如果您要嵌入任务信息,那么您也可以在“项目”对象上维护“完成”和“未完成”计数器,并在任务数组中使用$inc 标记完成时简单地更新这些计数器运算符。

    var taskSchema = new Schema({
      "completed": { "type": Boolean, "default": false }
    });
    
    var projectSchema = new Schema({
      "name": String,
      "completed": { "type": Number, "default": 0 },
      "incomplete": { "type": Number, "default": 0 }
      "tasks": [taskSchema]
    });
    
    var Project = mongoose.model( "Project", projectSchema );
    // cheat for a model object with no collection
    var Task = mongoose.model( "Task", taskSchema, undefined );
    
    // Then in later code
    
    // Adding a task
    var task = new Task();
    Project.update(
        { "task._id": { "$ne": task._id } },
        { 
            "$push": { "tasks": task },
            "$inc": {
                "completed": ( task.completed ) ? 1 : 0,
                "incomplete": ( !task.completed ) ? 1 : 0;
            }
        },
        callback
     );
    
    // Removing a task
    Project.update(
        { "task._id": task._id },
        { 
            "$pull": { "tasks": { "_id": task._id } },
            "$inc": {
                "completed": ( task.completed ) ? -1 : 0,
                "incomplete": ( !task.completed ) ? -1 : 0;
            }
        },
        callback
     );
    
    
     // Marking complete
    Project.update(
        { "tasks": { "$elemMatch": { "_id": task._id, "completed": false } }},
        { 
            "$set": { "tasks.$.completed": true },
            "$inc": {
                "completed": 1,
                "incomplete": -1
            }
        },
        callback
    );
    

    您必须知道当前任务状态才能使计数器更新正常工作,但这很容易编写代码,您可能至少应该在传递给您的方法的对象中包含这些详细信息。

    就我个人而言,我会重新建模为后一种形式并这样做。您可以执行查询“合并”,如此处的两个示例所示,但这当然是有代价的。

    【讨论】:

    • 谢谢你,这是一个很好的答案!是的,我考虑过项目中的嵌入式任务,但我担心我的项目文档可能会达到文档大小限制。
    • 您始终可以$pull从数组中完成任务,或者至少通过一些逻辑对那里的总任务保持“上限”。也许$slice 或其他自定义逻辑只保留这么多“已完成”项目。取决于您真正想要做什么,如果数组中的项目少于 500 个,性能应该不会真正下降。
    【解决方案2】:

    当您需要在 MongoDB 中对事物进行分组或计数时,您通常需要使用 aggregation framework。以下是在 shell 中计算数据的方法:

    db.tasks.aggregate([ {$group: {
      _id: {projectID: "$projectID", completed: "$completed"},
      count: {$sum: 1}
      }});
    

    这将为项目中的每个任务返回两个文档 - 一个包含已完成任务的计数,另一个包含尚未完成的任务。

    我从来没有用过 Mongoose,但现在你有一些东西可以开始了:)

    【讨论】:

    • 所以,我必须运行两个查询,一个用于查找所有项目,另一个用于汇总计数并在客户端进行映射,对吧?
    • 仅当您需要来自项目的一些额外数据时
    猜你喜欢
    • 2015-04-12
    • 2021-05-03
    • 2019-01-30
    • 2021-05-26
    • 2021-07-21
    • 2021-03-24
    • 1970-01-01
    • 2020-01-25
    • 2015-04-06
    相关资源
    最近更新 更多