从 Kafka 到 Vertica 的数据导入（vkconfig Kafka 连接器）答案

【问题标题】：Data Import from Kafka to Vertica (vkconfig Kafka connector)从 Kafka 到 Vertica 的数据导入（vkconfig Kafka 连接器）
【发布时间】：2020-05-29 08:55:43
【问题描述】：

我知道 Vertica 有 vkconfig 从 Kafka 导入数据。但是，似乎 Confluent 也有一个可以做同样事情的连接器。正如他们的网站所述：“用于 Confluent 平台的 Vertica Sink 连接器 - 您可以使用 Kafka Connect Vertica Sink 连接器将数据从 Apache Kafka 主题导出到 Vertica。Vertica Sink 连接器会定期轮询来自 Kafka 的记录并将它们添加到 Vertica 表中。 "

这两个连接器是否旨在执行相同的任务？如果不是，有什么区别？

【问题讨论】：

感谢您的评论。我改变了问题，所以它只是两者之间的区别，而不是哪个更好。

标签： apache-kafka apache-kafka-connect vertica

【解决方案1】：

对 Vertica 和 Confluent Vertica 水槽连接器进行了工作并进行了比较。 Vertica 内置连接器无法处理 Kafka 墓碑消息（使用 Vertica 记录了增强请求）并且使用 avro 很慢。与 confluent 合作修复了至少 15 个错误和增强功能，他们改进并发布了最新版本的 vertica sink 连接器，支持大多数功能。使用 Confluent 进行许可是困难的部分，因为除非购买了管理 Kafka 的整个生态系统，否则他们可能不会为其连接器包提供许可

【讨论】：

【解决方案2】：

在高层次上，软件的区别在于the Vertica one is done on a periodic schedule

Kafka Connect 的实时性更高，具体取决于您的配置方式。

当然，还有关于安装、支持和许可的详细信息。

您应该期望 Vertica 导入器提供比 Confluent 更多特定于 Vertica 的功能，后者可能只关注将 Kafka 记录导入数据库事件的最低要求，并且谁知道正在向该连接器添加增强功能。

【讨论】：