【问题标题】:KSQL failed to create stream from topicKSQL 无法从主题创建流
【发布时间】:2020-09-30 17:58:34
【问题描述】:

有一个 json 主题名称“客户事件”并尝试从以下 KSQL 创建流:

create stream cssc_customer_event_json (description varchar,pageEvent_id varchar)with (kafka_topic='customer-event', value_format='json');

它返回以下消息:

 Message
------------------------------------
 Statement written to command topic
------------------------------------

在查询运行后并没有创建任何流。任何人都可以建议可能是什么问题?

谢谢

问候, 韩

当我尝试创建表格时也会发生同样的事情。

create stream cssc_customer_event_json (reportSuite varchar,exclude_id varchar,exclude_value varchar,exclude_description varchar,pageEvent_id varchar)with (kafka_topic='customer-event', value_format='json');

它应该创建一个新流。但它没有创建流

ksql> show streams;

 Stream Name | Kafka Topic | Format
------------------------------------
------------------------------------

【问题讨论】:

  • 你运行的是什么版本的 KSQL? KSQL Server 日志中是否有任何错误?
  • 嗨罗宾,我们使用的是 KSQL 5.0.0。但我无权访问 KSQL 服务器日志。这可能是配置错误吗?谢谢
  • 要了解这里发生了什么,无论是数据问题还是配置问题,您都需要 KSQL 服务器日志。

标签: ksqldb


【解决方案1】:

消息:

Statement written to command topic

一般只在 REST 端点线程将消息写入命令主题,然后超时等待引擎端读取消息并处理它时看到。

发生这种情况的原因有几个:

  1. Kafka 中存在错误配置,停止引擎端读取,例如ACL 设置不正确,所以 ksqlDB 可以写入,但不能读取数据。
  2. Kafka 存在稳定性问题 - 例如。濒临灭绝的分区等,尽管这倾向于阻止写入 Kafka 的工作,而不是读取端。
  3. 读取命令主题的线程已崩溃。早期版本中存在一些可能导致此问题的错误。 ksql 应用程序日志会报告这一点。重启可能会修复它,或者升级。
  4. 读取命令主题的线程卡住了。早期版本中存在一些可能导致此问题的错误。 ksql 应用程序日志不会报告这一点。你需要做一个线程转储或类似的诊断。重启可能会修复它,或者升级。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-10-15
    • 2019-02-10
    • 1970-01-01
    • 2021-10-27
    • 1970-01-01
    相关资源
    最近更新 更多