Apache flink 以 S3 作为源，S3 作为接收器

【问题标题】：Apache flink with S3 as source and S3 as sinkApache flink 以 S3 作为源，S3 作为接收器
【发布时间】：2020-06-28 04:52:08
【问题描述】：

是否可以在事件通过 apache Flink 进入 S3 源存储桶时读取事件并处理并将其返回到其他 S3 存储桶？是否有专门的连接器，或者我必须使用 Apache Flink 中提到的可用读取/保存示例？在这种情况下检查点是如何发生的，flink 是否会自动跟踪它从 S3 源存储桶中读取的内容，或者是否需要构建自定义代码。 flink 是否也保证在 S3 源案例中只处理一次。

【问题讨论】：

标签： amazon-s3 event-handling streaming apache-flink

【解决方案1】：

在 Flink 1.11 中，FileSystem SQL Connector 得到了很大改进；这将是此用例的绝佳解决方案。

借助 DataStream API，您可以使用 FileProcessingMode.PROCESS_CONTINUOUSLY 和 readFile 来监控存储桶并在新文件自动移入其中时摄取它们。 Flink 跟踪存储桶的最后修改时间戳，并摄取自该时间戳以来修改的任何子节点——以完全一次的方式进行（这些文件的读取偏移量包含在检查点中）。

【讨论】：

是否有使用 env.readFile(format, localFsURI, FileProcessingMode.PROCESS_CONTINUOUSLY, INTERVAL) 作为格式和 localFsURI 作为 S3://bucket/endpoint 的示例？