如何使用 Postgres 窗口函数或横向连接限制 Django ORM 中每个组的前 N 个？答案

【问题标题】：How to limit top N of each group in Django ORM by using Postgres Window functions or Lateral Joins?如何使用 Postgres 窗口函数或横向连接限制 Django ORM 中每个组的前 N 个？
【发布时间】：2021-05-16 10:42:28
【问题描述】：

我关注Post、Category 和PostScore 模特。

class Post(models.Model):
    category = models.ForeignKey('Category', on_delete=models.SET_NULL, related_name='category_posts', limit_choices_to={'parent_category': None}, blank=True, null=True)
    status = models.CharField(max_length=100, choices=STATUS_CHOICES, default='draft')
    deleted_at = models.DateTimeField(null=True, blank=True)
    ...
    ...

class Category(models.Model):
    title = models.CharField(max_length=100)
    parent_category = models.ForeignKey('self', on_delete=models.SET_NULL,
                                        related_name='sub_categories', null=True, blank=True,
                                        limit_choices_to={'parent_category': None})
    ...
    ...

class PostScore(models.Model):
    post = models.OneToOneField(Post, on_delete=models.CASCADE, related_name='post_score')
    total_score = models.DecimalField(max_digits=8, decimal_places=5, default=0)
    ...
    ...

所以我想要写一个查询，返回 N 每个不同类别（Category）的帖子数（Posts），按帖子分数排序（表示为PostScore 模型中的 total_score 列）以降序排列。这样我每个类别的帖子得分最高的 N 条记录。

所以我可以通过以下原始查询来实现上述目标，该查询为我提供了每个类别得分最高的前 10 个帖子：

SELECT * 
FROM (
    SELECT *,
           RANK() OVER (PARTITION BY "post"."category_id" 
           ORDER BY "postscore"."total_score" DESC) AS "rank"
    FROM
         "post"
    LEFT OUTER JOIN 
         "postscore" 
    ON
       ("post"."id" = "postscore"."post_id") 
    WHERE 
       ("post"."deleted_at" IS NULL AND "post"."status" = 'accepted') 
    ORDER BY 
        "postscore"."total_score" 
    DESC
) final_posts
WHERE 
    rank <= 10

到目前为止我使用 Django ORM 所取得的成就：

>>> from django.db.models.expressions import Window
>>> from django.db.models.functions import Rank
>>> from django.db.models import F
>>> posts = Post.objects.annotate(
                                 rank=Window( expression=Rank(), 
                                 order_by=F('post_score__total_score').desc(),
                                 partition_by[F('category_id')]
                                 )). \
            filter(status='accepted', deleted_at__isnull=True). \
            order_by('-post_score__total_score')

大致评估为

>>> print(posts.query)
>>> SELECT *,
       RANK() OVER (PARTITION BY "post"."category_id" 
       ORDER BY "postscore"."total_score" DESC) AS "rank"
     FROM
          "post"
     LEFT OUTER JOIN 
          "postscore" 
     ON
         ("post"."id" = "postscore"."post_id") 
     WHERE 
         ("post"."deleted_at" IS NULL AND "post"."status" = 'accepted') 
     ORDER BY 
         "postscore"."total_score" 
     DESC

所以基本上缺少什么，我需要通过使用“排名”别名来限制每个组（即类别）结果。

想知道如何做到这一点？

我在question 上看到了Alexandr 提出的一个答案，实现此目的的一种方法是使用 Subquery 和 in 运算符。虽然它满足上述条件并输出正确的结果但是查询很慢。

无论如何，如果我按照 Alexandr 的建议进行查询，这将是一个查询：

>>> from django.db.models import OuterRef, Subquery
>>> q = Post.objects.filter(status='accepted', deleted_at__isnull=True, 
    category=OuterRef('category')).order_by('-post_score__total_score')[:10]
>>> posts = Post.objects.filter(id__in=Subquery(q.values('id')))

所以我更热衷于使用 完成上述原始查询 （这几乎完成了只是 misses limit 部分） ORM 中的 >window 函数。另外，我认为这可以通过使用lateral join 来实现，所以也欢迎这个方向的答案。

【问题讨论】：

标签： python django postgresql lateral-join django-subquery

【解决方案1】：

所以我有一个使用 RawQuerySet 的解决方法，但问题是它返回一个 django.db.models.query.RawQuerySet，它不支持 filter、exclude 等方法。

>>> posts = Post.objects.annotate(rank=Window(expression=Rank(), 
            order_by=F('post_score__total_score').desc(),
            partition_by=[F('category_id')])).filter(status='accepted', 
            deleted_at__isnull=True)
>>> sql, params = posts.query.sql_with_params()
>>> posts = Post.objects.raw(""" SELECT * FROM ({}) final_posts WHERE 
                                 rank <= %s""".format(sql),[*params, 10],)

我将等待提供返回 QuerySet 对象的解决方案的答案，否则我只能这样做。

【讨论】：