【发布时间】:2016-09-09 10:48:24
【问题描述】:
问题的简短介绍...
- PostgreSQL 具有非常简洁的数组字段(int 数组、字符串数组)和函数,例如
UNNEST和ANY。 - Django 支持这些字段(为此我使用
djorm_pgarray),但函数本身不支持。 - 可以使用
.extra(),但Django 1.8 引入了database functions 的新概念。
让我提供一个最原始的例子来说明我对所有这些的基本操作。 Dealer 有一个它支持的品牌列表。 Vehicle 有品牌并与经销商相关联。但碰巧Vehicle的make与Dealer的make list不匹配,这是不可避免的。
MAKE_CHOICES = [('honda', 'Honda'), ...]
class Dealer(models.Model):
make_list = TextArrayField(choices=MAKE_CHOICES)
class Vehicle(models.Model):
dealer = models.ForeignKey(Dealer, null=True, blank=True)
make = models.CharField(max_length=255, choices=MAKE_CHOICES, blank=True)
拥有一个经销商和品牌数据库,我想计算车辆品牌与其经销商品牌列表匹配的所有车辆。我就是这样避免.extra()。
from django.db.models import functions
class SelectUnnest(functions.Func):
function = 'SELECT UNNEST'
...
Vehicle.objects.filter(
make__in=SelectUnnest('dealer__make_list')
).count()
生成的 SQL:
SELECT COUNT(*) AS "__count" FROM "myapp_vehicle"
INNER JOIN "myapp_dealer"
ON ( "myapp_vehicle"."dealer_id" = "myapp_dealer"."id" )
WHERE "myapp_vehicle"."make"
IN (SELECT UNNEST("myapp_dealer"."make_list"))
而且它有效,而且比我们可以在 Django 中使用的传统 M2M 方法快得多。但是,对于这个任务,UNNEST 不是一个很好的解决方案:ANY 更快。让我们试试吧。
class Any(functions.Func):
function = 'ANY'
...
Vehicle.objects.filter(
make=Any('dealer__make_list')
).count()
它会生成以下 SQL:
SELECT COUNT(*) AS "__count" FROM "myapp_vehicle"
INNER JOIN "myapp_dealer"
ON ( "myapp_vehicle"."dealer_id" = "myapp_dealer"."id" )
WHERE "myapp_vehicle"."make" =
(ANY("myapp_dealer"."make_list"))
它失败了,因为ANY 周围的大括号是假的。如果您删除它们,它会在psql 控制台中运行,没有任何问题,而且速度很快。
所以我的问题。
- 有什么办法可以去掉这些牙套吗?我在 Django 文档中找不到任何相关内容。
- 如果不是,-也许还有其他方法可以改写此查询?
P. S. 我认为针对不同后端的广泛数据库函数库对于数据库密集型 Django 应用程序非常有帮助。
当然,其中大部分都不可移植。但是您通常不会经常将这样的项目从一个数据库后端迁移到另一个。在我们的示例中,使用数组字段和 PostGIS,我们被困在 PostgreSQL 中并且不打算移动。
有人开发这样的东西吗?
P. P.S.有人可能会说,在这种情况下,我们应该为 make 和 intarray 使用单独的表而不是字符串数组,这是正确的并且会这样做,但问题的性质不会改变。
更新。
-
TextArrayField定义在 djorm_pgarray。在链接的源文件中,您可以看到它是如何工作的。 - 该值为文本字符串列表。在 Python 中,它表示为一个列表。示例:
['honda', 'mazda', 'anything else']。
这是数据库中关于它的说法。
=# select id, make from appname_tablename limit 3;
id | make
---+----------------------
58 | {vw}
76 | {lexus,scion,toyota}
39 | {chevrolet}
并且底层 PostgreSQL 字段类型是text[]。
【问题讨论】:
-
这是最有趣的,我认为虽然文档中没有明确提及,但 Func 及其子类只能用于聚合和注释,但不能用于过滤器。
-
我什至尝试重写 Func 中的 as_sql 方法,看看是否可以用它来去掉括号。但事实证明,括号是在别处添加的
-
@e4c5 是的,我也调查了源代码。也许有人对 Django ORM 内部有深入的了解,可以回答这个问题。
-
你用模板属性试过了吗?
-
为了问题的完整性,能否请您添加 TextArrayField 定义以及那里存储的数据(字符串数组、字符串数组数组,也许是示例值)?
标签: python django postgresql django-orm