Pymongo 无法在太大的集合中使用管道执行聚合

Question

我在patients colletion 中有数十亿条记录， 我不知道如何用管道过滤它。

或者这是对 mongoDB 的限制，我们无法在大型集合上与管道聚合？

我已经添加了allowDiskUse=True 选项，但它也不起作用。

如何获得管道过滤后的结果？

我怎样才能简单地将过滤后的结果存储到另一个集合中？谢谢

示例代码（我使用pymongo，所以以下是Python语法）

import datetime
pipeline = [
        {"$project": {"birthday":1, "id":1}
    },
    {
             "$match": { "birthday":{"$gte":datetime.datetime(1987, 1, 1, 0, 0)} }    
     },{"$group": ~~~
     }
    ]
res =db.patients.aggregate(pipeline,allowDiskUse=True)

异常信息

OperationFailure: command SON([('aggregate', u'patients'), ('pipeline', [{'$match': {'birthday': {'$gte': datetime.datetime(1987, 1, 1, 0, 0)}}}]), ('allowDiskUse', True)]) on namespace tw_insurance_security_development.$cmd failed: exception: aggregation result exceeds maximum document size (16MB)    

如何

Answer 1

将您的结果存储在collection 中，然后对其进行另一次聚合传递。这是mongo的限制，您可以阅读更多关于它的信息here。

Answer 2

如果这是针对具有基于人的 UI 的应用程序，那么我建议使用分页 - 通过 mongo 的跳过和限制，并将字段限制为所述人可以查看的字段（您似乎正在使用 $项目）。

“我不知道如何用管道过滤它。” 试试下面的

i_Limit = 100 # Or whatever value plays nice
cnt_Skip = 0
has_Next = True

while has_Next:

         pipe = [{"$project": {"birthday":1, "id":1}},{"$match": { "birthday":{"$gte":datetime.datetime(1987, 1, 1, 0, 0)}}}, {$skip: cnt_Skip},{$limit: i_Limit}, {"$group": ~~~ }]   

        cursor =db.patients.aggregate(pipe,allowDiskUse=True)

        if not cursor:
            has_Next = False
            continue

        for record in cursor:

            # Do whatever needed with the record
            print record



        cnt_Skip = cnt_Skip + i_Limit

如果要进行大转储，请使用mongoexport。