如何在 ClickHouse 中定期插入数据

Question

我想定期将数据从 S3 插入到 clickHouse，即，当数据添加到我的 S3 存储桶时，我想要一个自动将其添加到 clickHouse 的选项。

Answer 1

S3 有event notification。如果您正确配置它，任何更改都会生成一个事件，该事件将被中继到 MQ（Apache Kafka）。然后你可能有一个 MQ 消费者，它将新数据插入到 ClickHouse。