SQLite：批量更新没有游标的字段

Question

我有下表：

CREATE TABLE Records (
RecordIndex INTEGER NOT NULL,
...
Some other fields
...
Status1 INTEGER NOT NULL,
Status2 INTEGER NOT NULL,
UpdateDate DATETIME NOT NULL,
CONSTRAINT PK_Records PRIMARY KEY (RecordIndex ASC))

还有一个索引：

CREATE INDEX IDX_Records_Status ON ClientRecords
  (Status1 ASC, Status2 ASC, RecordIndex ASC)

我需要一个一个的去获取某个状态的记录，所以我用了这个语句：

SELECT *
FROM RECORDS
WHERE RecordIndex > @PreviousIndex
AND Status1 = @Status1
AND Status2 = @Status2
LIMIT 1

但是现在我需要获取按另一个字段排序的记录，但是这个字段对于每条记录都不是唯一的，所以我不能以相同的方式使用它。所以我决定在我的表中添加一个新的 SortIndex 字段。

由于 SQLite 中没有游标，我正在执行以下操作来初始化 SortIndex 的值。
首先我创建一个临时表：

CREATE TEMP TABLE Sort (
SortIdx INTEGER PRIMARY KEY AUTOINCREMENT,
RecordIdx INTEGER )

然后我按正确的排序顺序填写此表：

INSERT INTO Sort
  SELECT NULL, RecordIndex
  FROM Records
  ORDER BY SomeField ASC, RecordIndex ASC

然后我在临时表上创建一个索引：

CREATE INDEX IDX_Sort_RecordIdx ON Sort (RecordIdx ASC)

然后我更新 Records 表中的 SortIndex 字段：

UPDATE Records
SET SortIndex =
  (SELECT SortIdx
   FROM Sort
   WHERE RecordIdx = RecordIndex)

然后我删除临时表：

DROP TABLE Sort

最后我在我的记录表上创建了一个新索引

CREATE INDEX IDX_Records_Sort ON Records
  (Status1 ASC, Status2 ASC, SortIndex ASC)

这允许我做以下选择

SELECT *
FROM Records
WHERE SortIndex > @PreviousSortIndex
AND Status1 = @Status1
AND Status2 = @Status2
LIMIT 1

问题是，由于该表包含大约 500K 条记录，因此整个过程大约需要 2 分钟。使用游标初始化 SortIndex 可能会快很多，但是 SQLite 缺少此功能:(

有更快的方法吗？

提前致谢！

Answer 1

您应该考虑 SQLite 的 INSERT OR REPLACE 功能，而不是使用相关子查询执行 UPDATE，当主键重复时，它将执行整行的 UPDATE：

UPDATE Records
   SET SortIndex =
       (SELECT SortIdx
          FROM Sort
         WHERE RecordIdx = RecordIndex) 

变成

INSERT OR REPLACE INTO Records (RecordIndex, SortIndex, ...)
SELECT RecordIndex, SortIdx, ... FROM another_temporary_table_containing_all_columns.

除了使用包含所有列的临时表，您当然可以使用连接旧表和新表的 SELECT：在 SQLite shell 中尝试此操作

CREATE TABLE original (id INTEGER PRIMARY KEY, content TEXT);

BEGIN TRANSACTION;
INSERT INTO original(id, content) VALUES(1, 'foo');
INSERT INTO original(id, content) VALUES(2, 'bar');
INSERT INTO original(id, content) VALUES(3, 'baz');
COMMIT TRANSACTION;

CREATE TABLE id_remap(old_id INTEGER, new_id INTEGER);

BEGIN TRANSACTION;
INSERT INTO id_remap(old_id, new_id) VALUES(2,3);
INSERT INTO id_remap(old_id, new_id) VALUES(3,2);
COMMIT TRANSACTION;

INSERT OR REPLACE INTO original (id, content)
SELECT b.new_id, a.content
  FROM original a
 INNER JOIN id_remap b
    ON b.old_id = a.id;

SELECT * FROM original;

结果：

1|foo
2|baz
3|bar

如果您需要进行大量更新但不希望关联子查询，另一种选择是在视图中执行连接，并在该视图上创建触发器 INSTEAD OF UPDATE。一个问题是你不能有在这个过程中失败的约束。我想每行都会检查约束，这样可能会很慢。

在 SQLite 外壳中：

CREATE TABLE original (id INTEGER PRIMARY KEY, content TEXT);

BEGIN TRANSACTION;
INSERT INTO original(id, content) VALUES(1, 'foo');
INSERT INTO original(id, content) VALUES(2, 'bar');
INSERT INTO original(id, content) VALUES(3, 'baz');
COMMIT TRANSACTION;

CREATE TABLE id_remap(old_id INTEGER, new_id INTEGER);

BEGIN TRANSACTION;
INSERT INTO id_remap(old_id, new_id) VALUES(3,6);
COMMIT TRANSACTION;

CREATE TEMPORARY VIEW tmp_id_mapping
    AS
SELECT a.content, b.old_id, b.new_id
  FROM original a
 INNER JOIN id_remap b
    ON b.old_id = a.id;

 CREATE TEMPORARY TRIGGER IF NOT EXISTS tmp_trig_id_remap
INSTEAD OF UPDATE OF content ON tmp_id_mapping
    FOR EACH ROW
  BEGIN
    UPDATE original
       SET id = new.new_id
     WHERE id = new.old_id;
   END;

UPDATE tmp_id_mapping
   SET content = 'hello';

SELECT * FROM original;

结果：

1|foo
2|bar
6|baz

Answer 2

主要答案

我认为，这不可能在 SQLlite 中快速插入约 50 万条带索引的记录（以及未来的许多索引）。

希望有人在这里发明新轮子。

---

马克，我认为你应该避免这种动态添加的索引，而只是添加其他经典索引，无论你多么需要它们。

此外，游标在任何 DMBS 中并不总是好主意——仅当我们需要复杂的逻辑时，但在这里以简单的顺序排列，我认为它已经过时了。

只需添加经典索引——即使它们不是唯一的。

或者在这里发布更多关于你为什么要填写的详细信息，你应该选择一些动态的方式。

另外sqlite，正如我see，支持偏移量。

---

用于测试的 SQL

-- init
CREATE TABLE IF NOT EXISTS `records` (
  `RecordID` int(10) default NULL,
  `Status` int(10) default NULL,
  `SomeField` char(50) default NULL,
  `RecordIndex` int(11) default NULL
) ENGINE=MyISAM DEFAULT CHARSET=utf8;

truncate `records`;
INSERT INTO `records` (`RecordID`, `Status`, `SomeField`, `RecordIndex`) VALUES
    (1, 1, 'a', 35),
    (2, 1, 'b', 20),
    (3, 1, 'c', 42);

-- 1st select
SELECT * FROM records WHERE Status = 1 ORDER BY SomeField ASC, RecordIndex ASC LIMIT 1 OFFSET 0;

-- update
update records set `Status` = 2 where RecordID = 1;

-- select next
SELECT * FROM records WHERE Status = 1 ORDER BY SomeField ASC, RecordIndex ASC LIMIT 1 OFFSET 1;