confluent s3 源连接器如何知道它已经摄取了哪些文件以及哪些文件是新的？

【问题标题】：how does the confluent s3 source connector know which files it has already ingested and which ones are new?confluent s3 源连接器如何知道它已经摄取了哪些文件以及哪些文件是新的？
【发布时间】：2021-07-02 17:40:54
【问题描述】：

https://docs.confluent.io/kafka-connect-s3-source/current/

我认为这个连接器会轮询 s3 以获取文件列表——但它是否会保留有关已处理哪些文件以及哪些是新文件的状态？如果它确实存储了状态，那么状态存储在哪里？

【问题讨论】：

标签： amazon-s3 apache-kafka apache-kafka-connect confluent-platform s3-kafka-connector

【解决方案1】：

一般来说，源连接器将状态存储在配置的config.offsets.topic 中，虽然我没有使用过这个特定的连接器，但我想它必须依赖于单调递增的 S3 键，例如由相应的 S3 写入的键接收器，因此不应期望适用于任何随机 S3 存储桶

this post中有一些关于常规文件源连接器的详细信息

【讨论】：