具有复杂和/或条件的规范化表上的高效 MySQL 查询

Question

我有下表：

create table x (
    id integer, 
    property integer
);

我需要高效地运行查询来测试给定 ID 的多个属性值。例如，我可能想要一个查询来获取所有具有满足条件的属性的 id：1 而不是（2 或 3 或 4 或 5）。

如果我的所有属性都在布尔列中（'t1' = true 如果属性值 1 存在 id，否则为 false 等），那么我可以简单地运行这个非常快速的查询（假设 y 是这样一个表):

select * from y where t1 and not (t2 or t3 or t4 or t5);

不幸的是，我有数千个属性，所以这行不通。此外，查询没有押韵或理由，因此虽然我可以将属性组捆绑到概念关系中，但查询边界不尊重这一点。此外，这些查询是（间接）由用户确定的，因此在预期中创建视图将无济于事。最后，我们将不断添加具有新属性的数据集，其关系可能是新的、模糊的或交叉的，这意味着尝试创建关系表可能会成为维护的噩梦。

因此我选择了原始模式。

为了完成我的查询，我首先尝试在查询中涉及的字段上创建一个数据透视，然后进行查询：

create table pivot as (
    select 
        id,
        max(if(property=1,true,false)) as 't1',
        max(if(property=2,true,false)) as 't2',
        max(if(property=3,true,false)) as 't3',
        max(if(property=4,true,false)) as 't4',
        max(if(property=5,true,false)) as 't5'
    from x);
select * from pivot where t1 and not (t2 or t3 or t4 or t5);

但是，这非常慢。事实上，它比未经优化的自制解决方案要慢。

我知道我可以生成带有子查询的复杂查询，但有限的测试表明性能会更差（除非我的查询结构不正确）。

我可以做些什么来加快查询速度？

Answer 1

如果你有：

P(id,property) -- thing [i] has property #[property]

你想要的：

x(i,p1,p2,p3,p4,p5) -- thing [i] has property p1 per [p1] and ...

这符合您的需要吗？

CREATE VIEW x AS
    SELECT id,
        property=p1 AS p1,
        property=p2 AS p2,
        property=p3 AS p3,
        property=p4 AS p4,
        property=p5 AS p5
    FROM P

大概你正在做这样的事情：

--  for A(id,...)
SELECT id,... FROM A JOIN x USING(id) WHERE t1 AND NOT (t2 OR t3 OR t4 OR t5)

您只需要 A 行，其中 id 为 P(id,t1) 而不是 ...。

（如果您确实创建了一个包含多个布尔列的表，您希望最小化存储，因为您可以使用 BIT (1)（BIT (m) 需要 (m+7)/8 个字节）。您可以使用它们就像布尔值一样。

不要自己将多个位编码为值，这会阻止 DBMS 进行优化。）

Answer 2

我假设id 不是唯一的，并且现有记录(some_id, property_id) 意味着该属性是on。

首先，我注意到I need to efficiently run queries that test multiple property values for a given id 和I may want a query that gets all ids with a property satisfying the condition: 1 and not (2 or 3 or 4 or 5) 可能会导致完全不同的查询。

但这是我的想法。更多假设：

• 总是有一个积极的条件会削减 id 的很大一部分（否则我会将几个属性合并到一个额外的属性中，成为这样的条件）
• 任何一对(id, property) 都是唯一的（你甚至有相应的唯一索引）

现在，如果您在(property, id) 上有一个索引，那么以下查询将从覆盖索引中获取所有匹配的ids（很快）：

SELECT id
FROM t1 
WHERE property = 150;

如果此查询导致的结果集明显小于整个表，您可以为另一个属性创建另一个快速相关子查询，这将显着减少结果集。此子查询将需要另一个覆盖索引(id, property)，并且它需要相应的 UNIQUE 索引：

SELECT id
FROM t1 
WHERE property = 150 
  AND NOT EXISTS (
    SELECT 1
    FROM t2
    WHERE t2.id = t1.id AND t2.property = 130
  )
  AND NOT EXISTS (
    SELECT 1
    FROM t2
    WHERE t2.id = t1.id AND t2.property = 90
  );

如果先前的相关子查询结果为 false，则不会对该行执行所有后续子查询。这就是为什么顺序至关重要。

您将需要使用属性顺序，并且可能在执行查询的代码中对其进行硬编码。

UPD：那么，恐怕你别无选择。您可以做的最好的事情是一次遍历索引并计算您需要的内容。那么查询的速度将主要取决于表中的行数。因此，再次假设您在 (id, property) 上有 UNIQUE 索引，您可以编写如下内容：

SELECT id
FROM t1
GROUP BY id
HAVING 
  COUNT(IF(property=150, 1, NULL))
  AND NOT COUNT(IF(property=130, 1, NULL))
  AND NOT COUNT(IF(property=90, 1, NULL));

Answer 3

您是否考虑过构建一个由 (id, propertybin) 组成的表，该表的填充方式如下：

INSERT LookupTable (id, propertybin)
SELECT id, sum(1 << property)
FROM MyTable
GROUP BY id

现在，propertybin 为每个 ID 保存一个二进制值，其中每个位表示 MyTable 中是否存在从 0 到 63 的属性。我意识到你有超过 64 个属性，但我认为这个想法可以扩展到保存更多属性 - 因为你现在有 1 列能够保存有关 64 个属性的信息，所以你“只”需要，比如 100 个这样的列来保存6400个属性的信息。

现在，要找到满足某个条件的所有 id，您将使用按位逻辑。例如，要查找所有 id 的属性为 0，但不是 1、2、3 或 4，请使用：

SELECT id
FROM LookupTable
WHERE ((propertybin ^ 0x1E) & 0x1F) = 0x1F

在这里，我们使用异或位运算符^ 和值 0x1E = 二进制 11110 来过滤非条件。我们使用 AND 位运算符&，其值为 0x1F = 二进制 11111，表示我们只对前 5 位感兴趣。

或者，可以使用足够大的 VARBINARY 类型列，从而消除每列 64 个属性的限制。但是，我不确定 MySQL 提供的过滤 VARBINARY 值中某些位的可能性。