MariaDB 列存储 LAST_INSERT_ID() 替代

Question

环境：

操作系统：CentOS 7.2

数据库服务器：10.1.23-MariaDB Columnstore 1.0.9-1

2个测试数据库，1个InnoDB和1个Columnstore：

CREATE TABLE `test_innodb` (
    `ctlid` bigint(20) NOT NULL AUTO_INCREMENT,
    `rfid` varchar(100) DEFAULT NULL,
    PRIMARY KEY (`ctlid`)
) ENGINE=InnoDB

CREATE TABLE `test_cs` (
    `ctlid` bigint(20) DEFAULT NULL COMMENT 'autoincrement=1',
    `rfid` varchar(100) DEFAULT NULL
) ENGINE=Columnstore

问题：

我在 InnoDB 表中运行了几次插入：

insert into test_innodb (rfid) values ('a1');
...
insert into test_innodb (rfid) values ('aX');

当我想获取最后插入的 id 时，我运行以下命令：

select last_insert_id();

无论是否有其他并发会话在该 InnoDB 表中运行插入并触发创建其他 ctlid 值，结果都会正确显示当前会话期间插入的最后一个 ctlid 值。到目前为止一切顺利..

现在，我对 Columnstore 表执行了几次插入操作：

insert into test_cs (rfid) values ('a1');
...
insert into test_cs (rfid) values ('aX');

我想实现与上述相同的行为，但不幸的是，Columnstore 忽略了这一点：

select last_insert_id();

我使用了以下替代方法：

-- this will return the next value
select nextvalue from calpontsys.syscolumn cs where cs.schema='my_test_database' and cs.tablename='test_cs' and cs.columnname='ctlid';

- this will return the last inserted id
select callastinsertid('test_cs');

但两者都显示出一个主要限制：如果其他并发会话运行插入，则上述两个查询的结果会受到这些插入生成的自动增量值的影响。基本上我可能不会得到预期的最后插入的 id，但如果其他会话并行创建自动增量值，我可能会得到更大的。

我也尝试过：

• 锁定表

• 执行插入

• 使用select callastinsertid('test_cs')获取最后插入id

• 之后解锁表

但列存储似乎不支持锁定表。

是否有可能使用 Columnstore 实现一致的最后插入 id（每个会话）？

我们的计划是将我们的一些功能从 MariaDB/MySQL 切换到 Columnstore，但上面的限制非常困难。

Answer 1

对于高速插入，插入到单独的表中，然后定期将数据从该表复制到真实表中。通过使用这个额外的表，您可以更轻松地控制规范化以及其他可能需要 AUTO_INCREMENT 值的事情。

并确保在单个线程中进行“复制”，而不是多个线程。

这里是对许多细节的讨论。 ColumnStore 需要一些调整，但我认为它对你有用。 http://mysql.rjweb.org/doc.php/staging_table

注意使用乒乓球两个表。这允许在并行复制到 ColumnStore 的同时连续摄取。