我用的是卡夫卡吗？答案

【问题标题】：Am i using Kafka right?我用的是卡夫卡吗？
【发布时间】：2018-11-20 19:15:22
【问题描述】：

我已经安装了 Kafka“kafka_2.12-0.11.0.0”。

zookeper 和 Kafka-server 都已启动服务。

然后我在 IntelliJ 上创建了一个 java 项目（包括 kafka lib）。

我还包含了 JDBC 连接所需的 SQLite jar。

我最初想使用 confluent.kafka-connect，但由于我的机器是基于 windows 的机器，所以 CLIplatform 不起作用。

所以我编写了一个独立的 java 程序来连接到我的 sqlite DB 获取的数据，并使用自定义 Kafka-Producer 程序将其作为消息发送，创建一个主题“connect-test”。 p>

我使用自定义 Kafka-Consumer 程序收到了相同的数据。此测试的目的是查看我是否可以对现有的基于 Windows 的企业应用程序执行相同操作，以将数据流式传输到数据分析平台的仓库中。我知道我是在单机模式下完成的，但我的方向是否正确？

您能否建议我是否有更好的方法将我的企业应用程序（基于 java 的自定义 API + oracle DB + Oracle DB 之上的另一层）与 Kafka 集成？

非常感谢您的帮助。

【问题讨论】：

除了@robin-moffatt 的回答之外，kafka 不是平台绑定的this bug under windows，您可以编写您的实现和/或使用现有的connector
Apache Nifi 或 Streamsets 也可以。
谢谢@Paizo 的提示，我也会调查的。这很有帮助。
@cricket_007，我还没有研究它们，我会深入研究。谢谢你的信息。

【解决方案1】：

Kafka Connect 是 Apache Kafka 的一部分，是与包括数据库在内的其他系统集成的推荐方式。 This article 解释了与 Oracle 集成的特定选项，this talk 显示了它的实际应用。

因为我的机器是基于 Windows 的机器，所以 CLIplatform 不工作。

Kafka Connect 应该可以在 Windows 上运行。我不确定您所说的CLIplatform 是什么意思，因为它是基于 Java 的，它应该在 Windows 上运行，如果没有，您可以使用 Docker 映像。

免责声明：我为 Confluent 工作并撰写了上述链接到

的文章

【讨论】：

嗨@Robin，您的文章是研究 Confluent 的灵感来源。我相信 confluent 包的“命令行界面”仍然无法在 windows 上启动所有服务。
添加...不过，我可以通过手动启动 zookeper 和 kafka-server 来工作，但我仍然想知道如何在 Windows 上启动“schema-registry-start”服务。
link。我想我在这里找到了一些相关的东西。
@Shashank Schema Registry 现在有 Windows 脚本，根据 github github.com/confluentinc/schema-registry/tree/master/bin/windows
感谢@cricket_007 的参考，如果我有进展，我会试试这个并发表评论。