mongoengine 中的慢查询答案

【问题标题】：Slow queries in mongoenginemongoengine 中的慢查询
【发布时间】：2017-03-20 19:59:47
【问题描述】：

我正在使用 Mongoengine 对 MongoDB 数据库执行查询，然后将结果保存为 json 文件。我的文档定义如下所示：

class Foo(Document):
    # fields definitions goes here

    @queryset_manager
    def some_fields(self, queryset):
        return queryset.exclude('field1', 'field2', 'field3')

如您所见，我创建了自定义方法来从查询结果中排除一些不必要的字段。但是整个过程query->count results->convert to json 非常慢。我创建了一些虚拟日志来更好地解释我的问题

    query_start = datetime.datetime.now()
    foos = Foo.some_fields.filter(**filter_dict)
    query_end = datetime.datetime.now()
    logger.debug(
        "%s || Query time: %s" % (str(datetime.datetime.now()), str((query_end - query_start).total_seconds())))
    counting_start = datetime.datetime.now()
    foos_count = foos.count()
    counting_end = datetime.datetime.now()
    logger.debug("%s || Foos count: %d in %f" % (
        str(datetime.datetime.now()), foos_count,(counting_end - counting_start).total_seconds(),
    ))
    serialization_start = datetime.datetime.now()
    json_response = foos.to_json()
    serialization_end = datetime.datetime.now()
    logger.debug("%s || Serialization time: %s" % (
        str(datetime.datetime.now()), str((serialization_end - serialization_start).total_seconds())))

下面的示例输出

Query time: 0.098477
Foos count: 0 in 27.771622
Serialization time: 34.59575

我猜测上一步的结果不会被下一部分使用。我对吗？因为我找不到任何其他解释将空结果转换为 json 需要半分钟以上。或者，也许我错过了什么？如何更改我的代码以更快地执行这些操作？

【问题讨论】：

标签： python mongodb mongoengine

【解决方案1】：

也许真正的查询是在第二阶段？您可以在 mongo 控制台中运行查询。如果它将运行大约 30 秒，您应该考虑索引。

【讨论】：