如何从 s3 读取数据到 Kafka（Docker 镜像）

【问题标题】：How to Read Data from s3 into Kafka (Docker image)如何从 s3 读取数据到 Kafka（Docker 镜像）
【发布时间】：2021-07-18 04:27:51
【问题描述】：

我已经在 windows 的 docker 上安装了 kafka，它运行如下截图，并且我已经使用这个链接安装了“Amazon S3 Source Connector” https://docs.confluent.io/kafka-connect-s3-source/current/index.html#quick-start.

我的问题是：

i)我如何执行命令来查看所有 kakfa 主题（不通过 GUI）

ii)如何检查 S3 源连接器是否已安装属性（我的意思是位置或 cli..）

iii) 并且链接还指定创建和使用“quickstart-s3source.properties”我在哪里执行此操作？在我的 docker 桌面上？

【问题讨论】：

【解决方案1】：

关于您的问题标题，该源连接器不会读取任意 S3 数据，只会读取由 S3 接收器写入的数据

执行命令查看所有kakfa主题

kafka-topics --list

检查是否安装了 S3 源连接器

您只是在运行不包括 S3 源的 datagen 连接器，但您将使用 Connect 服务器的 /connector-plugins 端点

指定创建和使用“quickstart-s3source.properties”

您需要将其转换为 JSON，因为 Docker 运行分布式连接服务器，并且这些快速入门文件旨在与独立文件一起使用。只要通过 HTTP POST 将文件提供给 Connect 服务器，在哪里创建文件并不重要

【讨论】：