如何使用压缩运行 KSQL 流

Question

我正在使用 KSQL 来处理 Kafka 数据。我可以创建持久的 kafka 流，但是该流的输出主题不是压缩的。如何在创建 steream 时定义压缩类型。

CREATE STREAM TARGET_TOPIC WITH **(COMPRESSION='SNAPPY')** AS SELECT * FROM SOURCE PARTITION BY ID

我期望像上面那样提供压缩配置，但上面的语法不正确。如果在 ksql 中可以进行压缩，请提供帮助。

谢谢

Answer 1

有两种方法可以实现。

1. 您可以在 KSQL 中使用 SET 命令设置控制压缩的生产者配置在创建流之前，例如

SET 'compression.type'='snappy';
CREATE STREAM TARGET_TOPIC WITH **(COMPRESSION='SNAPPY')** AS SELECT * FROM SOURCE PARTITION BY ID

1. 如果您希望压缩所有输出，也可以在 ksql-server.properties 文件中进行设置。