kafka 流中 Protobuf 的字节字段答案

【问题标题】：Protobuf's bytes field in kafka streamskafka 流中 Protobuf 的字节字段
【发布时间】：2021-05-05 00:11:18
【问题描述】：

我正在尝试使用以下 ksql 命令在 ksql cli 中创建一个 kafka-stream。从命令中可以看出，stream的来源是kafka topic。

CREATE STREAM
TestStream
WITH
(
    kafka_topic = 'testtopic',
    value_format = 'PROTOBUF'
);

这个 kafka 主题，使用 schema-registry 并具有 protobuf 格式。架构如下。


message TestSchema {
  optional string deviceId = 1;
  required bytes  mac = 2;
  optional uint32 inNetwork = 3;
  optional sint32 rssi = 4;
  optional bool auth = 5;
}

此时，当新消息生成该 kafka 主题时，我在流中看不到 bytes mac 字段。其他字段，(deviceId, inNetwork, rssi and auth) 显示如预期。我认为 ksql 中 protobuf 的字节字段 [不支持]。

是否可以使流支持字节？或者，是否可以在流创建中以某种方式将字节转换为字符串？

【问题讨论】：

标签： apache-kafka apache-kafka-streams confluent-platform ksqldb

【解决方案1】：

我自己也遇到了这个问题。目前似乎不支持字节：https://github.com/confluentinc/ksql/issues/1742

【讨论】：