【问题标题】:MongoDB 2.1 Aggregate Framework Sum of Array Elements matching a nameMongoDB 2.1 聚合框架总和匹配名称的数组元素
【发布时间】:2012-08-23 03:54:41
【问题描述】:

这是一个关于在我必须匹配另一个元素的数组中添加一系列数据的最佳方法的问题。我正在尝试使用 2.2 聚合框架,我可以通过一个简单的组来做到这一点。

所以对于给定的一组文档,我试图得到这样的输出;

{
    "result" : [
            {
                "_id" : null,
                "numberOf": 2,
                "Sales" : 468000,
                "profit" : 246246,
            }
    ],
    "ok" : 1
}

现在,我最初有一个文档列表,其中包含分配给命名属性的值,例如;

[
{
    _id : 1,
    finance: {
        sales: 234000,
        profit: 123123,
    }
}
,
{
    _id : 2,
    finance: {
        sales: 234000,
        profit: 123123,
    }
}
]

这很容易加起来,但由于其他原因该结构不起作用。例如,可能还有“财务”等其他列,我希望能够在不创建数千个索引的情况下对它们进行索引,因此我需要转换为这样的结构;

[
{
    _id : 1,
    finance: [
        {
            "k": "sales",
            "v": {
                "description":"sales over the year",
                v: 234000,
            }
        },
        {
            "k": "profit",
            "v": {
                "description":"money made from sales",
                v: 123123,
            }
        }
    ]
}
,
{
    _id : 2,
    finance: [
        {
            "k": "sales",
            "v": {
                "description":"sales over the year",
                v: 234000,
            }
        },
        {
            "k": "profit",
            "v": {
                "description": "money made from sales",
                v: 123123,
            }
        }
    ]
}
]

如果我愿意,我可以索引finance.k,但是我正在努力构建一个聚合查询来添加与特定键匹配的所有数字。这就是我最初选择命名属性的原因,但这确实需要在有数千个“k”标签的情况下工作。

有谁知道如何使用新框架为此构建聚合查询?这个我试过了;

db.projects.aggregate([
    {
        $match: {
            // QUERY
            $and: [
                // main query
                {},
            ]
        }
    },
    {
        $group: {
            _id: null,
            "numberOf": { $sum: 1 },
            "sales":    { $sum: "$finance.v.v" },
            "profit":   { $sum: "$finance.v.v" },
        }
    },
])

但我明白了;

{
    "errmsg" : "exception: can't convert from BSON type Array to double",
    "code" : 16005,
    "ok" : 0
}

** 为了获得额外的荣誉,我还需要能够在 MapReduce 查询中执行此操作。

【问题讨论】:

  • 为什么需要在 MapReduce 中这样做?聚合框架将比 M/R 更快,并且通常更易于阅读。
  • 好吧,除了 agg fx 尚未投入生产这一事实 :) 之外,MR 在大多数情况下会更快,因为我可以预先缓存输出。 agg fx 解决方案适用于我们没有 MR 缓存版本的情况。
  • 2.2 已经发布到生产中,所以 agg 框架正在生产中。
  • 没错,但实际上只是在我上次发表评论和你发表评论之间的时间之内 :) 它仍然需要一段时间才能在 MongoLab 和 MongoHQ 等地方作为标准产品出现,但是除非 $out 功能正常工作,否则能够预先计算和存储 MR 结果仍然是一项要求。

标签: mongodb


【解决方案1】:

您可以使用聚合框架获取销售额利润您可能存储在键/值对表示中的任何其他值。

对于您的示例数据:

var pipeline = [
    {
        "$unwind" : "$finance"
    },
    {
        "$group" : {
            "_id" : "$finance.k",
            "numberOf" : {
                "$sum" : 1
            },
            "total" : {
                "$sum" : "$finance.v.v"
            }
        }
    }
]

R = db.tb.aggregate( pipeline );
printjson(R);
{
        "result" : [
            {
                "_id" : "profit",
                "numberOf" : 2,
                "total" : 246246
            },
            {
                "_id" : "sales",
                "numberOf" : 2,
                "total" : 468000
            }
        ],
        "ok" : 1
}

如果您有额外的 k/v 对,那么您可以添加一个仅通过 ["sales","profit"] 中的 k 值的匹配。

【讨论】:

  • 顺便说一句很好的答案!很遗憾我不能将两个答案都标记为正确。
  • 我认为这正是我所需要的 - 如果我想过滤掉可能存在的其他字段,并且只返回“销售额”和“利润”,那么 $match 应该是什么样子?
  • $match 语法与 find() 的第一个参数相同 - 所以 {$match:{"finance.k":{$in:["sales","profit"]}}} 和你可以把它放在展开之后(实际上你可以把它放在之前和之后:)
【解决方案2】:

您将不得不使用“$unwind”来分解数组中的值,这意味着您无法在单个聚合命令中获得销售额和利润的总和。鉴于此,查询本身很简单:

var pipeline = [ 
        {"$unwind": "$finance" } ,
        {"$match": {"finance.k": "sales"} },
        { $group: 
            { _id: null,
                numberOf: { "$sum": 1 },
                sales: {"$sum": "$finance.v.v" }
            }
        }
    ];

R = db.tb.aggregate( pipeline );
printjson(R);

{
        "result" : [
                {
                        "_id" : null,
                        "numberOf" : 2,
                        "sales" : 236340
                }
        ],
        "ok" : 1
}

您可以运行类似的利润查询,只需在“$match”运算符中将“利润”替换为“销售额”即可。

哦,这是 map/reduce 示例:

map = function() {
    var ret = { sales: 0.0 , profit: 0.0, count: 1 };

    // iterate over 'finance[]' array
    this.finance.forEach( function (i) { 
        if ( i.k == "sales" ) ret.sales =  i.v.v ;
        if ( i.k == "profit" ) ret.profit =  i.v.v ;
    } );

    emit( 1, ret );
}

reduce = function(key, values) {
    var ret = { sales: 0.0 , profit: 0.0, count: 0 };

    values.forEach(function(v) {
        ret.sales += v.sales;
        ret.profit += v.profit;
        ret.count += v.count;
    });

    return ret;
    };
//
// run map/reduce
//
res = SOURCE.mapReduce( map, reduce );

【讨论】:

  • 很好的答案,谢谢! map reduce 效果很好。很遗憾我不能将两个答案都标记为正确。
猜你喜欢
  • 2013-05-29
  • 2013-07-20
  • 1970-01-01
  • 2014-03-04
  • 2016-07-20
  • 2012-08-31
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多