为什么mongo总和需要这么长时间？

Question

我有一个大约 500 万个文档的表格集合。它们如下所示：

 fr to weight

对于fr 和to，我有6000 的可能值。我创建了以下代码来将所有可能的fr 字段的所有权重加到to，例如

1 1 sum(all documents with fr=1 to=1)
1 2 sum(all documents with fr=1 to=2)
...

我使用pyMongo 编写脚本，而cells 是所有可能的fr/to 字段的数组，calls 是我拥有大约500 万份文档的集合。

for _from in cells: #pair up each cell with each other cell
     for _to in cells:
             s = calls.aggregate([
                      {
                              '$match':
                              {
                                      "fr": _from,
                                      "to": _to
                              }
                      },
                      {
                              '$group': {'_id': 'null', 'sum': {'$sum':'$weight'}}
                      }])
              if s['result']:
                     fr_to_sum = s['result'][0]['sum']
                     _id = entropy.insert({
                                     'to': _to,
                                     'fr': _from,
                                     'sum': fr_to_sum
                             })

我用的是单机。

另一个数据库会更好吗？例如。一些 SQL？

更新

字段fr 和to 包含1-100000 范围内的整数，而weight 是一个小的float。我尝试在fr 和to 之间进行所有可能的组合并对这些组合的值求和，因为数据库中可能存在具有fr 和to 相同的重复文档（例如fr=1 to=2 weight=0.004 和@ 987654344@，所以在这种情况下，我想在我的entropy 表中有fr=1 to=2 weight=0.014。

只是作为一个示例

 >> db.week_calls.count({'fr':10, 'to':102})
 >> 4

拨打db.week_calls.getIndexes()后我得到了

    {
    "v" : 1,
    "key" : {
        "_id" : 1
    },
    "ns" : "db.week_calls",
    "name" : "_id_"
}

这似乎很奇怪，因为我使用 db.calls.ensure_index([("fr",1), ("to",1)]) 创建并索引整个事物

Answer 1

你正在尝试做的事情的基本形式，没有迭代是这样的：

db.collection.aggregate([
    { "$group": {
        "_id": { 
           "fr" : "$fr",
           "to" : "$to",
        },
        "sum": { "$sum": "$weight" }
    }}
])

现在可能对你很不利，所以你可能需要做一些循环和 "range" 值如下：

db.collection.aggregate([
    { "$match": {
       "fr": { "$gt": 0, "$lte": 10000 },
       "to": { "$gt": 0, "$lte": 10000 }
    }},
    { "$group": {
           "_id": { 
                "fr" : "$fr",
                "to" : "$to",
           },
           "sum": { "$sum": "$weight" }
   }}
])

segment所有这些文档，然后得到下一个segment：

db.collection.aggregate([
    { "$match": {
       "fr": { "$gt": 10000, "$lte": 20000 },
       "to": { "$gt": 10000, "$lte": 20000 }
    }},
    { "$group": {
             "_id": { 
                  "fr" : "$fr",
                  "to" : "$to"
             },
            "sum": { "$sum": "$weight" }
    }]
])

哪种解决方案最适合您。

一般而言，让$group 为您完成工作并将其分解为可管理的块，其中结果可能太大而无法一次获取。

在未来的版本中，聚合将返回一个游标。