当greenplum gpss提交到kafka主题时

Question

我正在尝试使用 gpss (Greenplum Stream Server) 将数据从 Kafka 加载到 GreenplumDB。

主要问题是如何\当gpss 实例将当前写入的偏移量提交给 kafka？

现在gpss 实例没有向 kafka 提交任何消息，而是处理 GreenplumDB 中服务表中的当前偏移量。 我的预期行为是：

1. 使用给定的 group.id 和主题（在 kafka 中是强制性的，在 gpss 设置中不是强制性的 - 顺便说一句看起来很奇怪）
2. 开始使用来自 kafka 主题的数据
3. 按分区跟踪更高的偏移量
4. 在 COMMIT 条件出现时等待（COMMIT 是 gpss 作业配置中的设置块）
5. 使用gpfdist将一批数据从kafka写入外部表
6. 将分区的最大偏移量提交给 kafka
7. 重复

但现在它在没有步骤 n.5 的情况下工作 有人知道为什么吗？

第二个问题是 - gpss 是否使用 group.id？ 在 gpss 作业配置中，我找到了与 kafka 消费者配置属性相对应的 PROPERTIES 块配置

Answer 1

如果自 1.6.0 版起在 yaml 文件中设置了“group.id”，gpss 会将消耗的偏移量提交给 Kafka。之前只向Greenplum的跟踪表提交了offset。