用于 Kafka 处理程序的 Oracle GoldenGate 大数据适配器答案

【问题标题】：Oracle GoldenGate Big Data adapter for Kafka Handler用于 Kafka 处理程序的 Oracle GoldenGate 大数据适配器
【发布时间】：2019-03-08 05:27:08
【问题描述】：

我的问题是关于使用副本的 Kafka 检查点，例如，在 Kafka 生产者异步模式下，副本移动到 1 到 100 个操作，假设 kakfka 处理了 80 个操作，在 81 时 Kafka 停机了一个小时。 Kafka 启动后，replicat 必须从第 81 次操作重新定位。 Kafka 处理程序是如何发生的，因为我在 GG 大数据适配器 Oracle 网站的任何地方都没有看到任何检查点和比较逻辑。从第81次操作开始replicat和adapter重启的保证是什么？

【问题讨论】：

docs.oracle.com/goldengate/bd123210/gg-bd/GADBD/…

标签： apache-kafka oracle-golden-gate

【解决方案1】：

检查点由 Goldengate 复制进程与 Kafka 适配器/处理程序一起处理。Goldengate 安装目录的一部分有存储与提取或复制进程相关的文件的子目录，其中一个目录是 dirchk。

 dirchk:

Contains the checkpoint files created by Extract and Replicat processes,which store current read and write positions to support data accuracy and fault tolerance. Written in internal Oracle GoldenGate format.

    File name format is group_name+sequence_number.ext where sequence_number is a sequential number appended to aged files and ext is either cpe for Extract checkpoint files or cpr for Replicat checkpoint files.

            Do not edit these files.

            Examples:

            ext1.cpe

            rep1.cpr

您可以从此链接 A.2 部分了解 Goldengate 中的子目录

https://docs.oracle.com/goldengate/1212/gg-winux/GIMSS/installed_components.htm#GIMSS2361

通过链接查看 Goldengate 相关命令或 ggsci 命令 https://docs.oracle.com/goldengate/1212/gg-winux/GWURF/ggsci_commands.htm#GWURF884

从上面的链接第 1.1.3 节与复制相关。一些重要的复制命令是信息复制，滞后复制，同步复制

阅读第 10.2 节 Kafka 处理程序功能，其中介绍了检查点

https://docs.oracle.com/goldengate/bd123210/gg-bd/GADBD/using-kafka-handler.htm#GADBD460

Robin Moffatt 对 Goldengate kafka 处理程序进行故障排除 :-)

https://www.rittmanmead.com/blog/2016/09/using-logdump-to-debug-oracle-goldengate-and-kafka/

【讨论】：