可以使用逻辑解码来复制单个表吗？

Question

我正在对logical decoding 进行研究，我已经能够使用streaming replication protocol 创建一个槽并将数据库中的所有事务复制到另一个数据库中，并且效果非常好。

但我只需要复制一个表，而不是数据库上的所有表。

所以，我的问题是：logical decoding 是否允许过滤单个表的流？

我目前的提示是创建一个自定义logical decoding output plugin，我错了吗？

更新

我基于来自 postgresql 源的 contrib/test decoding 构建了一个 output plugin，这是一个很好的解决方法。但是它对实际用例没有用，所以我决定将其他一些项目作为 fork 和 update 的参考。

对我来说最好的是wal2json，所以我决定分叉它并添加表格过滤器作为选项，而不是硬编码表格名称。

Here 是分叉，this is the changeset。

如何使用

首先使用wal2json 插件创建插槽：

pg_recvlogical -d postgres --slot test_slot --create-slot -P wal2json

然后开始接收流

pg_recvlogical -d postgres --slot test_slot --start -o limit-to=table_foo,table_bar -f -

现在我们准备好接收table_foo 和table_bar 的更新。

---

这是一个非常好的挑战，我不是 c 开发人员，我知道代码需要一些优化，但现在它的效果比预期的要好。

Answer 1

wal2json 的当前版本有以下选项：

* `filter-tables` - tables to exclude
* `add-tables`- tables to include

用法：

pg_recvlogical -slot test_slot -o add-tables=myschema.mytable,myschema.mytable2

参考：https://github.com/eulerto/wal2json#parameters

Answer 2

根据documentation，您可以通过实现流复制interface methods来实现自己的同步复制解决方案：

• CREATE_REPLICATION_SLOT slot_name 逻辑选项
• DROP_REPLICATION_SLOT slot_name
• START_REPLICATION SLOT slot_name LOGICAL 选项

除了上面的接口，还需要实现Logical Decoding Output插件。在这个插件界面中需要调整Change Callback操作，它监听所有的DML操作：

为每一行调用所需的 change_cb 回调 事务中的修改，可能是 INSERT、UPDATE 或 删除。即使原始命令一次修改了几行 每行都会单独调用回调。

这是您要检查特定表以进行复制的功能。还要注意 Change Callback 不会处理 UNLOGGED 和 TEMP 表这一事实，但我想这不是严重的限制。