通过 kafka-topics 创建的主题是否应该自动创建关联的主题？

Question

我正在尝试模仿“融合负载”（不建议将其用于生产用途）来添加自动创建主题、主题等的连接器，从而允许创建 ksql 流和表。我正在使用 curl 与其余界面进行交互。

1. 当使用kafka-topics创建主题时，是否也会为"topicName-value"等创建关联主题？

$ curl -X GET http://localhost:8082/topics | jq
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   199  100   199    0     0  14930      0 --:--:-- --:--:-- --:--:-- 15307
[
  "Topic_OracleSource2"
]

curl -X GET http://localhost:8081/subjects | jq

[]

没有显示。但是，执行卷曲：

curl -X POST -H "Content-Type: application/vnd.kafka.avro.v2+json"       -H "Accept: application/vnd.kafka.v2+json"       --data '{"value_schema": "{\"type\": \"record\", \"name\": \"User\", \"fields\": [{\"name\": \"name\", \"type\": \"string\"}]}", "records": [{"value": {"name": "testUser"}}]}'       "http://localhost:8082/topics/avrotest"

创建主题：

curl -X GET http://localhost:8081/subjects | jq
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100    18  100    18    0     0   2020      0 --:--:-- --:--:-- --:--:--  2250
[
  "avrotest-value"
]

据我所知，不建议这样做，因为主题是动态创建的，而不是在受控环境中预先创建的。

1. 出现这个问题的原因是，似乎需要主题 'topicName-value/key' 对来为 KSQL 中的主题创建流。

没有主题，我只能看到创建的基于 avro 的连接器的数据，但无法使用 ksql 流和表进一步执行转换。

Answer 1

kafka-topics 只与 Zookeeper 和 Kafka 交互。它不知道架构注册表的存在。

创建 Avro 模式/主题的过程是通过生产者配置 Avro 序列化器。如果 Kafka Connect 源配置了 AvroConverter，它会在获取数据时自己注册一个模式，所以你不需要 curl，假设你对生成的模式感到满意

据我所知，没有办法阻止 KSQL 在注册表中自动注册架构。

似乎需要主题“主题名称-值/键”对来为 KSQL 中的主题创建流。

如果您想使用 Avro，可以。但是，对于 KSQL 支持的其他数据格式，没有“不需要”

无法使用 ksql 流和表进一步执行转换。

您需要更明确地说明原因。你有错误吗？

Answer 2

kafka-topics用于创建主题时，是否也会为“topicName-value”等创建关联主题？

不，主题不是自动创建的。 （kafka-topics 今天甚至不允许您传递 Avro 模式。）

可能值得提出功能请求？