Sqlite：如何加快那些 Sqlite 查询？

Question

鉴于我的本地 Sqlite 数据库中有一个大表（大约 5'000'000 行），其架构如下

id（整数，唯一），例如6543

description（文本），例如"any meaningful text"

tags（文本），例如"(living)(home)(garden)"

所以如果我需要计算所有标记为“家”和“花园”的条目，我会这样做

SELECT count(id) FROM tbl WHERE tags LIKE ‘%(home)%' AND tags LIKE '%(garden)%'

显然，这需要很长时间。 （我用 2'000'000 个条目的表格版本对其进行了测试，耗时 93 秒......）

引入新列是否明智，每个标签一个（最多五个）？

所以我会有类似的列

id | description | tag1 | tag2 | tag3 | tag4 | tag5 34 | blahblah | home |garden| null | null | null

相应的查询看起来像

SELECT count(id) FROM tbl WHERE (tag1 = 'home' OR tag2 = 'home' OR tag3 = 'home' OR tag4 = 'home' OR tag5 = 'home') AND (tag1 = 'garden' OR tag2 = 'garden' OR tag3 = 'garden' OR tag4 = 'garden' OR tag5 = 'garden')

这真的更好吗？

我只是不知道什么是最好的。我确定有办法减少查询时间……但我不知道。

任何帮助将不胜感激！

或者，也许，您有一个全新的想法，如何重组数据和/或查询以使其更快。

提前致谢！

Answer 1

在您使用条件...<field> LIKE '%<sub-str>%' 的那一刻，您正在触发全表扫描，因此需要很长时间。尽管如此，对于具有 64 个字符的字符串（字段tags）的 2M 记录，在我看来，93 秒的时间太长了。我怀疑问题不是来自全面扫描。

我建议您检查以下查询所需的时间：

select count(*)
  from <tablename>
 where tags like '(home)%' ;

对于 2M 行，这不会超过几秒钟。如果是这样，我会在其他地方搜索性能问题。

此外，您可以存储|living|home|garder|... 之类的标签并搜索tags like '%|home|%' [这不会解决您的问题，但是您可以节省一些空间，因为您将)( 替换为|]。

编辑：

我刚刚意识到您正在使用两个条件（WHERE ... AND）。请尝试以下操作：

SELECT count(id)
  FROM tbl
 WHERE tags like '%(home)%(garden)%'
    OR tags like '%(garden)%(home)%' ;

Answer 2

当您有多个相同事物的实例时，您应该将它放在多行中。 在这种情况下，这将为标签生成一个单独的表：

CREATE TABLE tags (
    id INTEGER  REFERENCES tbl(id),
    tag TEXT
);

CREATE INDEX tags_index ON tags(tag);

然后，您可以通过在 tag 列上进行简单查找来进行查询，因为有索引，这很有效：

SELECT count(*)
FROM tbl
WHERE id IN (SELECT id FROM tags WHERE tag = 'home')
  AND id IN (SELECT id FROM tags WHERE tag = 'garden');

或者，使用compound query:

SELECT count(*)
FROM (SELECT id FROM tags WHERE tag = 'home'
      INTERSECT
      SELECT id FROM tags WHERE tag = 'garden');