尝试选择多行时，Sqlite Select 行为缓慢答案

【问题标题】：Slow Sqlite Select behaviour when trying to select several rows尝试选择多行时，Sqlite Select 行为缓慢
【发布时间】：2020-07-13 07:03:54
【问题描述】：

我的 sqlite 数据库 t1 和 t2 中有两个表。 t1 有两列 a 和 b。 t2 有一列与 t1 中的相同。我已经为两个表中的每一列都建立了索引。我想从表 t1 中选择所有行，其中 t1.a 存在于表 t2 中。所以我写了一个查询：

select t1.a, t1.b from t1 where t1.a in(select t2.a from t2) limit 10000000;

我使用限制来选择所有行，而不是前 100 行。

表 t1 包含 6 000 000 行，表 t2 包含 100 000 行。此查询执行 1400 毫秒。

但是当我尝试使用此查询仅选择 t1.a 时：

select t1.a from t1 where t1.a in(select t2.a from t2) limit 10000000;

只用了 86 毫秒。

解释查询计划：

SEARCH TABLE csv USING COVERING INDEX iin_idx (iin=?)
USING INDEX sqlite_autoindex_input_1 FOR IN-OPERATOR

问题：

我想用 155 000 000 行填充 t1 表，因此查询时间会显着增加。

【问题讨论】：

【解决方案1】：

一种可能性是disk caching。从磁盘读取速度很慢，特别是如果您有hard disk drive (HDD) 而不是solid-state drive (SSD) 第一次运行查询时，缓存是“冷”的，数据必须从磁盘加载到内存中。第二次运行查询时，数据已经缓存在内存中，速度会快得多。

尝试运行查询几次，看看性能是否发生变化。

【讨论】：

【解决方案2】：

我想我找到了解决办法！我创建了一个额外的索引：

create index if not exists ab_b_idx on t1(a, b);

之后，同时选择 a 和 b 列的运行速度与只选择一列一样快。

我在文档中找到的这种行为的解释 Covering indices:

但是，如果要从表中提取的所有列都已在索引本身中可用，则 SQLite 将使用索引中包含的值，并且永远不会查找原始表行。这为每一行节省了一次二分搜索，并且可以使许多查询的运行速度提高一倍。

更新：在表 t1 中搜索 100 000 000 行花费了 550 毫秒。

【讨论】：