【发布时间】：2021-05-25 15:46:19
【问题描述】：
我有需求发布者将 XML 数据发送到 apache Kafka 集群，我的消费者需要将数据转换为 JSON 格式。
Apache Kafka 是否可以将 XML 数据转换为 JSON？
【问题讨论】：
标签： json xml apache-kafka
【发布时间】：2021-05-25 15:46:19
【问题描述】：
Apache Kafka 可以转换 [...]
没有。 Kafka 本身存储二进制数据，无需转换。
您的客户端代码负责反序列化、解析、重新格式化和重新序列化为其他格式
如果您的消费者和生产者不同意统一格式，则一方（可能是消费者或 Kafka 管理员）有责任提出提供转换服务的标准方式。
Similar question，但是我上次检查的 KSQL 不支持 XML，所以你至少必须使用 Kafka Streams，虽然你可以从 this project 借用一些逻辑，但是它实际上没有提供 JSON 输出
您也许可以将该项目与 MirrorMaker2 一起使用，因为它作为同一集群的一部分构建在 Kafka Connect 上，但 YMMV 因为这不是推荐的模式
【讨论】：
-
感谢更新的板球运动员，是的，如果他们发送 XML 数据，那么 Kafka 集群端将数据存储为二进制格式。所以通过使用 Mongo DB 接收器连接器，我可以将数据正确地转换为 JSON 格式？？
-
您应该可以将上述转换用作 Mongo 接收器的一部分，是的
-
我还有一个查询，我想在 HDinsignt 中安装连接器，我可以在其中添加（就像我需要为 Kafka 连接器添加的单独实例）如果是，请告诉我任何可用于添加 kafka 的文档或步骤HDInsight 中的连接器
-
要运行 Connect，请找到一个安装了 Kafka 的节点。在 Kafka 的
bin目录中查找connect-distributed.sh。添加连接器本身与任何其他环境没有什么不同