Flink Sql 中有什么更好的设计

Question

我在 flink sql 数据处理中有一个场景，它有很多 kafka 消息（json 格式）。所有的消息内容都相似但不一样。我创建了许多与消息一一对应的 flink 表，我意识到维护 kafka 主题很困难。

event1:
{
    "id": "id_001",
    "type": "in",
    "create_time": 1635116133089, 
    "uid":"uid_001"
}
event2:
{
    "id":"id_002",
    "status":"login",
    "type":"in"
}

我的flink sql一般使用watermark、windows、cep。

我的痛点是我有各种各样的表似乎是多余的。就我而言，有更好的桌子设计吗？

Answer 1

我最初的想法是看看您是否可以在使用可选字段的同时为您的事件定义一个通用架构。然后，您可以将所有事件发布到一个主题，因为某些字段可以保持为空。