【发布时间】：2018-04-28 07:02:43
【问题描述】：
kafka connect 是否适用于消息率非常低的情况。 例如：对于消费者，如果输入消息率非常低或没有消息发送/接收的时间段，kafka connect 可以处理这些情况吗？任何建议都有帮助。
【问题讨论】：
标签： apache-kafka apache-kafka-connect
【发布时间】：2018-04-28 07:02:43
【问题描述】：
是的。我目前正在运行一个连接器，该连接器每天最多只能生成 10 条消息，即使我们已将其配置为转储到每小时分区中，我们也只能在消息到达时获得 1 个文件夹。
重要的参数是分区轮换（如果您使用 TimeBasedPartitioner）和轮换计划 ms - 这会强制连接器定期刷新。
您还可以设置非常低的刷新大小以使消息更频繁地提交。如果您有更高的刷新大小，则消息将被缓冲，直到发生提交。即使连接实例死亡，它也应该从先前的偏移量恢复，同时数据保留在主题中
【讨论】：
-
感谢您提供详细信息。会调查的。
-
为了避免小文件，需要配置高刷新大小。由于进入率非常低，我可以将文件提交设置为每天几次，这仍然可以创建小文件。我看到除了rotate.schedule.interval.ms 之外还有另一个配置rotate.interval.ms。我相信使用 rotate.schedule.interval.ms 足以根据服务器时区定期刷新提交。
-
对，这就是我在回答中暗示的那个