【问题标题】:MongoDB Aggregation: Counting distinct fieldsMongoDB聚合:计算不同的字段
【发布时间】:2013-09-01 07:17:14
【问题描述】:

我正在尝试编写一个聚合来识别使用多个付款来源的帐户。典型的数据是。

{
 account:"abc",
 vendor:"amazon",
}
 ...
{
 account:"abc",
 vendor:"overstock",
}

现在,我想生成一个与此类似的帐户列表

{
 account:"abc",
 vendorCount:2
}

我将如何在 Mongo 的聚合框架中编写此代码

【问题讨论】:

    标签: mongodb aggregation-framework


    【解决方案1】:

    我通过使用 $addToSet 和 $unwind 运算符解决了这个问题。

    Mongodb Aggregation count array/set size

    db.collection.aggregate([
    {
        $group: { _id: { account: '$account' }, vendors: { $addToSet: '$vendor'} }
    },
    {
        $unwind:"$vendors"
    },
    {
        $group: { _id: "$_id", vendorCount: { $sum:1} }
    }
    ]);
    

    希望对某人有所帮助

    【讨论】:

    • 这可能适用于集合的亲切度足够小的集合,但对于大数据场景则行不通(想象一下,如果您有数十万个独特的供应商)。
    • 这个答案解决了大数据场景:stackoverflow.com/a/24770233/139721
    • 真的有必要再回去迭代$vendors吗?鉴于我们可以通过results.get("vendors").size(); 计算供应商数量
    • @JerryChin 可以在管道stackoverflow.com/questions/18501064/… 中使用运算符$size
    • 这可能会抛出 OperationFailure:BufBuilder 试图增长()异常!解决这个问题的任何想法。谢谢
    【解决方案2】:

    我认为如果您执行如下查询会更好,这将避免展开

    db.t2.insert({_id:1,account:"abc",vendor:"amazon"});
    db.t2.insert({_id:2,account:"abc",vendor:"overstock"});
    
    
    db.t2.aggregate(
    { $group : { _id : { "account" : "$account", "vendor" : "$vendor" }, number : { $sum : 1 } } },
    { $group : { _id : "$_id.account", number : { $sum : 1 } } }
    );
    

    这将向您显示预期的结果。

    { "_id" : "abc", "number" : 2 }
    

    【讨论】:

    • 这假设每个帐户至少有一个供应商
    【解决方案3】:

    您可以使用sets

    db.test.aggregate([
        {$group: { 
          _id: "$account", 
          uniqueVendors: {$addToSet: "$vendor"}
        }},
        {$project: {
          _id: 1, 
          vendorsCount: {$size: "$uniqueVendors"}
        }}
    ]);
    

    【讨论】:

    • 请注意,这仅适用于所有供应商都适合文档的情况,文档大小限制为 16MB。在大多数情况下可能没问题,但如果有数百万供应商和/或供应商 ID 很长(GUID 字符串有人吗?:-/),那么我猜双组是要走的路。
    【解决方案4】:

    我不明白为什么有人必须使用 $group 两次

    db.t2.aggregate([ { $group: {"_id":"$account" , "number":{$sum:1}} } ])
    

    这将完全正常。

    【讨论】:

    • 我猜是因为他们想重命名密钥并重新格式化。但这确实更好,也更有效。
    • 这是distinct count吗?
    • 是'select group_id, count(*) from table_name group by group_id',而不是'select count(distinct group_id)) from table_name'
    • 这个答案是错误的,因为它假设没有帐户两次拥有相同的供应商(即假设每个帐户的文档数量与不同供应商的数量相同。完全错误。
    • 这个答案产生具有相同帐户的所有文档的数量。例如:account:"abc", account:"abc", account:"abc", account:"bbb" -> abc: 3, bbb: 1
    【解决方案5】:

    这种方法没有使用 $unwind 和其他额外的操作。另外,如果将新事物添加到聚合中,这不会影响任何事情。接受的答案存在缺陷。如果 $group 中有其他累积字段,则会导致接受答案的 $unwind 阶段出现问题。

    db.collection.aggregate([{
        "$group": {
            "_id": "$account",
            "vendors": {"$addToSet": "$vendor"}
        }
    },
    {
        "$addFields": {
            "vendorCount": {
                "$size": "$vendors"
            }
        }
    }])
    

    【讨论】:

    • 这个答案与@Hett 18 个月前添加的答案相同。
    【解决方案6】:

    识别使用多个付款来源的帐户:

    1. 使用分组对多条账户记录中的数据进行计数,并使用 count 按账户对结果进行分组
    2. 使用匹配大小写仅过滤具有多种付款方式的帐户
      db.payment_collection.aggregate([ { $group: {"_id":"$account" ,
     "number":{$sum:1}} }, {
                         "$match": {
                             "number": { "$gt": 1 }
                          }
                     } ])
    

    这会很好,

    【讨论】:

      【解决方案7】:
      db.UserModule.aggregate(
      { $group : { _id : { "companyauthemail" : "$companyauthemail", "email" : "$email" }, number : { $sum : 1 } } },
      { $group : { _id : "$_id.companyauthemail", number : { $sum : 1 } } }
      );
      

      【讨论】:

      • 虽然此代码 sn-p 可能是解决方案,但 including an explanation 确实有助于提高您的帖子质量。请记住,您是在为将来的读者回答问题,而这些人可能不知道您提出代码建议的原因。
      • 加上它与现有答案基本相同。
      【解决方案8】:

      一个例子

      db.collection.distinct("example.item").forEach( function(docs) {
          print(docs + "==>>" + db.collection.count({"example.item":docs}))
      });
      

      【讨论】:

      • 您应该提供描述以描述为什么这可以作为问题的解决方案。使示例代码使用与实际问题相同的数据和变量上下文也非常非常有帮助。这个答案在 StackOverflow 上将被视为“低质量”;低质量的答案往往会吸引反对票,并且可能会禁止您回答更多问题。
      猜你喜欢
      • 2019-04-06
      • 1970-01-01
      • 2016-08-16
      • 1970-01-01
      • 1970-01-01
      • 2019-06-14
      • 1970-01-01
      • 2011-07-22
      相关资源
      最近更新 更多