将数据推送到 kafka 服务器后，删除源中的数据

Question

我正在使用融合平台 3.3 从 Oracle 数据库中提取数据。数据推送到 kafka 服务器后，应从数据库中删除检索到的数据。

有什么办法吗？请提出建议。

Answer 1

Kafka 没有默认的方法。

您如何使用 Kafka Connect 或您编写的自定义代码从数据库中读取数据？

如果是后者，我建议在您的代码中实现删除，一旦 Kafka 确认发送并定期批量删除，就收集 id。

或者，您可以编写一个小作业，使用与实际目标系统不同的使用者组读取您的 Kafka 主题，并根据从主题中提取的记录进行删除。如果您每隔几分钟、几小时...运行一次此作业，您也可以跟上发送的数据。