oracle Golden Gate for big data kafka 适配器将数据分组到 kafka答案

【问题标题】：oracle Golden gate for big data kafka adapter grouping data to kafkaoracle Golden Gate for big data kafka 适配器将数据分组到 kafka
【发布时间】：2017-11-01 18:18:21
【问题描述】：

来源：甲骨文数据库目标：卡夫卡

通过用于大数据的 Oracle Golden Adapter 将数据从源移动到目标。问题是数据移动得很好，但是当我插入 5 条记录时，它会在主题中作为一个文件。

我想把它分组。如果要插入 5 个，我需要在 topic(kafka) 中有五个单独的条目

kafka 处理程序，大数据 gg 版本 12.3.1

我在源代码中插入 5 条记录，在 khafka 中得到所有插入，如下所示

{"table":"MYSCHEMATOPIC.ELASTIC_TEST","op_type":"I","op_ts":"2017-10-24 08:52:01.000000","current_ts":"2017-10-24T12:52:04.960000","pos":"00000000030000001263","after":{"TEST_ID":2,"TEST_NAME":"Francis","TEST_NAME_AR":"Francis"}}
{"table":"MYSCHEMATOPIC.ELASTIC_TEST","op_type":"I","op_ts":"2017-10-24 08:52:01.000000","current_ts":"2017-10-24T12:52:04.961000","pos":"00000000030000001437","after":{"TEST_ID":3,"TEST_NAME":"Ashfak","TEST_NAME_AR":"Ashfak"}}
{"table":"MYSCHEMATOPIC.ELASTIC_TEST","op_type":"U","op_ts":"2017-10-24 08:55:04.000000","current_ts":"2017-10-24T12:55:07.252000","pos":"00000000030000001734","before":{"TEST_ID":null,"TEST_NAME":"Francis"},"after":{"TEST_ID":null,"TEST_NAME":"updatefrancis"}}
{"table":"MYSCHEMATOPIC.ELASTIC_TEST","op_type":"D","op_ts":"2017-10-24 08:56:11.000000","current_ts":"2017-10-24T12:56:14.365000","pos":"00000000030000001865","before":{"TEST_ID":2}}
{"table":"MYSCHEMATOPIC.ELASTIC_TEST","op_type":"U","op_ts":"2017-10-24 08:57:43.000000","current_ts":"2017-10-24T12:57:45.817000","pos":"00000000030000002152","before":{"TEST_ID":3},"after":{"TEST_ID":4}}

【问题讨论】：

您使用的是哪个处理程序 - Kafka 还是 Kafka Connect？哪个版本的 GoldenGate？您如何确定它是“5条记录为一个文件”？
kafka 处理程序，用于大数据 12.3.1 的版本 gg，我在源中插入了 5 条记录，并且在 khafka 中得到了所有类似上述的插入
我在我的源中插入 100 万条记录作为初始负载。在目标文件中作为单个记录到 kafka。如何避免这种情况？
你能显示你正在运行的命令来获得显示的输出吗？在我看来，这就像 Kafka 中的五个独立消息，这是我所期望的。

标签： apache-kafka grouping adapter oracle-golden-gate

【解决方案1】：

我会推荐使用Kafka Connect Handler，因为它会使用 Confluent Schema Registry 注册数据的模式，从而更容易继续流式传输到 Elasticsearch 等目标（使用 Kafka Connect）。

在 Kafka 中，来自 Oracle 的每条记录都是一条 Kafka 消息。

【讨论】：

【解决方案2】：

在下面的 .props 文件中制作

gg.handler.kafkahandler.mode=op.

成功了！！

【讨论】：