【问题标题】:How to perform DB bitwise queries in Django?如何在 Django 中执行 DB 按位查询?
【发布时间】:2012-03-29 07:51:43
【问题描述】:

如何使用 Django 对数据库执行按位查询?
我在文档中没有找到任何关于它的信息。
我应该检索一个查询集然后以编程方式过滤吗?

如果您有兴趣,我会在非常大且复杂的查询中使用按位运算来替代 IN() 语句,以提高性能。
我有一个包含数百万个项目(记录)的数据库。某些字段使用项目属性的二进制表示。
例如:Color字段可以有多个值,所以它的结构是这样的:

0001 - Red
0010 - Green
0100 - Blue
1000 - White

(这些是二进制值)
因此,如果一个项目有红色和蓝色,Color 字段将包含0101。
当用户查询数据库时,我使用按位或来查找匹配项(而不是非常慢的 IN())。

【问题讨论】:

    标签: django bit-manipulation


    【解决方案1】:

    和@Ivan Klass一样,

    您可以从django orm F 使用bitand 或bitor,

    # filter Red and Blue(0101)
    Color.objects.annotate(
      color_filter=F('color').bitand(0101)
    ).filter(color_filter__gte=0101)
    
     # filter Red or Blue(0101)
    Color.objects.annotate(
      color_filter=F('color').bitand(0101)
    ).filter(color_filter__gt=0)   
    

    【讨论】:

    • 你不能在第一种情况下使用.filter(color_filter=0101) 来表示“红色和蓝色”吗?
    • @MoRe,是的,您可以使用.filter(color_filter=0101) 过滤“红蓝”(0101),并使用.filter(color_filter__gte=0101) 过滤包括“红蓝”(如0101、0111)的那些
    【解决方案2】:

    您可以使用F objects 执行数据库级别的按位运算。

    如果字段为非负数,则表示条件field & mask > 0 可以重写为(field > 0) AND (field >= (field & mask))。如果要检查mask 的所有位是否适用((field & mask) == mask),您可以为每个位构建先前的表达式,然后通过sql AND 合并条件。请参阅示例如何完成。 (自定义 QuerySet 只是为了方便。如果您使用旧的 django 版本,您可以将 has_one_of 和 has_all 实现为单独的函数或类方法,或者更好的 PathThroughManager)。注意1 * F 是强制括号按位运算的解决方法,否则 django(对于 1.5 版本)会产生错误的 sql(colors >= colors & mask,比较具有更高的优先级,因此意味着TRUE & mask)

    import operator
    from django.db import models
    from django.db.models import Q, F
    
    _bit = lambda x: 2**(x-1)
    RED = _bit(1)
    GREEN = _bit(2)
    BLUE = _bit(3)
    WHITE = _bit(4)
    
    
    class ItemColorsQuerySet(models.QuerySet):
    
        def has_one_of(self, colors):
            """
                Only those that has at least one of provided colors
            """
            return self.filter(
                colors__gt=0,
                # field value contains one of supplied color bits
                colors__lt=F('colors') + (1 * F('colors').bitand(reduce(operator.or_, colors, 0)))
            )
    
        def has_all(self, colors):
            """
                Has all provided colors (and probably others)
            """
            # filter conditions for all supplied colors: 
            # each one is "field value has bit that represents color"
            colors_q = map(lambda c: Q(colors__gte=1 * F('colors').bitand(c)), colors)
            # one complex Q object merged via sql AND:
            # colors>0 and all color-bit conditions
            filter_q = reduce(operator.and_, colors_q, Q(colors__gt=0))
            return self.filter(filter_q)
    
    
    class Item(models.Model):
    
        name = models.CharField(max_length=100, unique=True)
        # can handle many colors using bitwise logic. Zero means no color is set.
        colors = models.PositiveIntegerField(default=0)
    
        objects = ItemColorsQuerySet.as_manager()
    

    【讨论】:

    • 是的,这是我自己的想法,我在寻找解决方案时发现了这个问题,当我最终在我们的项目中实现它时,才回来分享这个想法。
    • 如果F('colors').bitand(color) 是0,我认为它不起作用。我改用flags__lt=(F("flags")+1*F("flags").bitand(flag)))
    • @Elisha 看起来你错过了 +1 周围的括号
    • @IvanKlass 也许吧,我现在不记得我想做什么了。无论如何谢谢 :)
    • 我不认为这是正确的。例如,假设 db 中对象的字段值为1010。您过滤 1000 -> 正确,因为 db 中的值大于按位 and 的值。但是,如果您过滤 0001,您还将返回该项目,因为 1010 & 0001 = 0000 < 1010。还是我错了?就我而言,只有@gaozhidf 使用annotate 的回答有效!
    【解决方案3】:

    对于 postgres db,您可以将 .extra() 参数与 django orm 一起使用。

    例如:

    SomeModel.objects.extra(where=['brand_label & 3 = 3'])
    

    【讨论】:

      【解决方案4】:

      检查 django-bitfield ,它与 PostgreSQL 一起工作得很好(可能 MySQL 也很好)

      【讨论】:

      • 你好,我其实用的是 MySQL(想迁移到 MongoDB,但不支持按位查询 ATM)
      • @user1102018 我刚刚检查了代码,它应该可以在 MySQL 上运行,因为它使用普通整数字段和普通按位 & 和 | MySQL都支持。
      猜你喜欢
      • 2018-01-17
      • 2021-06-14
      • 2019-06-08
      • 1970-01-01
      • 2014-04-16
      • 2020-10-03
      • 1970-01-01
      • 1970-01-01
      • 2019-11-18
      相关资源
      最近更新 更多