【发布时间】：2017-08-22 13:54:26
【问题描述】：
我想使用 Kafka 将数据从本地流式传输到云 (S3)。为此，我需要在源机器和云上安装 kafka。但我不想将它安装在云上。我需要一些 S3 连接器，通过它我可以连接 kafka 并将数据从本地流式传输到云。
【问题讨论】：
标签： amazon-s3 apache-kafka apache-kafka-connect connector
【发布时间】：2017-08-22 13:54:26
【问题描述】：
如果您的数据是 Avro 或 Json 格式（或可以转换为这些格式），您可以将 S3 连接器用于 Kafka Connect。见Confluent's docs on that
如果您想通过 Kafka 移动实际（更大的）文件，请注意 Kafka 是为小消息设计的，而不是为文件传输而设计的。
【讨论】：
-
我想要不在 Avro 或 Jason 中的日志文件。除了 Confluent，您能否推荐其他一些连接器。提前致谢！！
-
你可以试试confluent.io/product/connectors列出的运气
-
@NamanAgarwal 您可以将原始日志文件行直接发送到 Kafka。然后在 kafka-connect-s3 中使用 JSON 或 Avro 转换器将默认在 S3 上输出
{"line": "message"}记录。换句话说，目标可以采用与源不同的格式。另外，对于日志分析，Avro 会更加压缩。
有一个 kafka-connect-s3 项目，由来自 Spreadfast 的接收器和源连接器组成，可以处理文本格式。不幸的是，它并没有真正更新，但仍然有效
【讨论】：