Django ORM 和 SQL 内连接

Question

我正在尝试获取相关列表对象上特定 from_date 和 to_date 范围内的所有 Horse 对象。例如。

Horse.objects.filter(listings__to_date__lt=to_date.datetime,
listings__from_date__gt=from_date.datetime)

现在，据我了解，此数据库查询创建了一个内部联接，然后使我能够根据相关的上市日期找到我所有的马对象。

我的问题是这究竟是如何工作的，这可能归结为对内部连接的实际工作方式缺乏了解。此查询是否需要首先“检查”每个马对象以确定它是否具有相关的列表对象？我想这可能会证明效率很低，因为您可能有 500 万个马对象而没有相关的列表对象，但您仍然必须先检查每一个？

或者，我可以从我的列表开始，先做这样的事情：

Listing.objects.filter(to_date__lt=to_date.datetime, 
from_date__gt=from_date.datetime)

然后：

for listing in listing_objs:
    if listing.horse:
        horses.append(horse)

但这似乎也是实现我的结果的一种相当奇怪的方式。

如果有人可以帮助我了解查询在 Django 中的工作原理以及执行此类查询的最有效方法，那将是一个很大的帮助！

这是我当前的模型设置：

class Listing(models.Model):

    to_date = models.DateTimeField(null=True, blank=True)
    from_date = models.DateTimeField(null=True, blank=True)
    promoted_to_date = models.DateTimeField(null=True, blank=True)
    promoted_from_date = models.DateTimeField(null=True, blank=True)

    # Relationships
    horse = models.ForeignKey('Horse', related_name='listings', null=True, blank=True)

class Horse(models.Model):
    created_date = models.DateTimeField(null=True, blank=True, auto_now=True)
    type = models.CharField(max_length=200, null=True, blank=True)
    name = models.CharField(max_length=200, null=True, blank=True)
    age = models.IntegerField(null=True, blank=True)
    colour = models.CharField(max_length=200, null=True, blank=True)
    height = models.IntegerField(null=True, blank=True)

Answer 1

您编写查询的方式实际上取决于您大部分时间想要返回的信息。如果您对这些马感兴趣，请咨询Horse。如果您对列表感兴趣，那么您应该从Listing 查询。这通常是正确的做法，尤其是当您使用简单的外键时。

关于 Django，您的第一个查询可能是更好的查询。我使用稍微简单的模型来说明差异。我创建了一个active 字段而不是使用日期时间。

In [18]: qs = Horse.objects.filter(listings__active=True)

In [19]: print(qs.query)
SELECT 
"scratch_horse"."id", 
"scratch_horse"."name" 
FROM "scratch_horse" 
INNER JOIN "scratch_listing" 
ON ( "scratch_horse"."id" = "scratch_listing"."horse_id" ) 
WHERE "scratch_listing"."active" = True

上面查询中的内部联接将确保您只获得具有列表的马。 （大多数）数据库非常擅长使用连接和索引来过滤掉不需要的行。

如果Listing 非常小，而Horse 相当大，那么我希望数据库只查看Listing 表，然后使用索引来获取Horse 的正确部分而不是做一个完整的表扫描（检查每匹马）。您将需要运行查询并检查您的数据库在做什么。 EXPLAIN（或您使用的任何数据库）非常有用。如果您猜测数据库在做什么，那么您可能错了。

请注意，如果您需要访问每个horse 的listings，那么每次访问horse.listings 时都会执行另一个查询。如果您需要访问listings，prefetch_related 可以为您提供帮助，方法是执行单个查询并将其存储在缓存中。

现在，您的第二个查询：

In [20]: qs = Listing.objects.filter(active=True).select_related('horse')

In [21]: print(qs.query)
SELECT 
"scratch_listing"."id", 
"scratch_listing"."active", 
"scratch_listing"."horse_id", 
"scratch_horse"."id", 
"scratch_horse"."name" 
FROM "scratch_listing" 
LEFT OUTER JOIN "scratch_horse" 
ON ( "scratch_listing"."horse_id" = "scratch_horse"."id" ) 
WHERE "scratch_listing"."active" = True

这是一个左连接，这意味着右手边可以包含 NULL。在这种情况下，右侧是Horse。如果您有很多没有马的列表，这将表现得很糟糕，因为它会带回每个活动列表，无论是否有马与之相关联。不过你可以用.filter(active=True, horse__isnull=False) 来解决这个问题。

看到我使用了select_related，它将表连接起来，这样您就可以访问listing.horse，而不会引发其他查询。

现在我可能应该问为什么您的所有字段都可以为空。这通常是一个糟糕的设计选择，尤其是对于 ForeignKeys。您是否会有与马无关的列表？如果没有，请摆脱空值。你会拥有一匹没有名字的马吗？如果没有，请去掉 null。

所以答案是，大多数时候做看起来很自然的事情。如果您知道某个特定的表将会很大，那么您必须检查查询计划器 (EXPLAIN)，查看在过滤器/连接条件上添加/使用索引，或从另一侧查询关系。