Amazon S3 可以充当 Kafka 集群的源吗？

【问题标题】：Can Amazon S3 act as Source to Kafka Cluster?Amazon S3 可以充当 Kafka 集群的源吗？
【发布时间】：2018-10-12 03:11:12
【问题描述】：

Amazon S3 可以用作 Kafka 集群的 Sink，我想检查一下 Amazon S3 是否可以用作 Kafka 集群的源。

【问题讨论】：

您可以使用 Nifi 列出 S3 存储桶，获取文件内容，并将其发送到 Kafka Record...您也可以自己直接在 Java 中执行此操作...所以回答您的问题 - 任何东西都可以成为 Kafka 的源代码...但是，帮助您找到预先编写的库对于 Stackoverflow 来说是无关紧要的

标签： amazon-s3 apache-kafka kafka-producer-api apache-kafka-connect

【解决方案1】：

Kafka Connect - FileSystem Connector 支持 S3 作为 Kafka 源连接器。但它不是官方支持的连接器。

【讨论】：

请解释在 Kafka 中使用 S3 作为源的过程，我无法从 Kafka Connect - FileSystem Connector 进行总结。感谢任何进一步的帮助。谢谢！

猜你喜欢

2023-01-11
1970-01-01
1970-01-01
2020-10-08
1970-01-01
2020-04-10
2019-11-08
2020-08-14
1970-01-01

相关资源

下载 2023-01-05
下载 2021-06-06
下载 2023-01-17

最近更新更多

热门标签

Java Python linux javascript Mysql C# Docker 算法前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库数据结构大数据 js 机器学习微服务 Android Go 程序员面试 JVM ASP.net core 云原生人工智能后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习多线程 React 架构 devops 爬虫云计算 Spring Boot LeetCode