从 Kafka 读取数据并将其存储在 dynamo db 中答案

【问题标题】：reading data from Kafka and storing it in dynamo db从 Kafka 读取数据并将其存储在 dynamo db 中
【发布时间】：2018-09-07 13:05:25
【问题描述】：

我需要从 Kafka 代理中的多个主题读取数据并将数据存储在 Dynamo DB 中。我可以继续使用任何参考代码或任何特定方法。

我尝试使用https://github.com/shikhar/kafka-connect-dynamodb，但我无法获得太多帮助，因为我是新手。

【问题讨论】：

Kafka 入门并不容易。文档和教程非常有限。大多数文档和教程都不充分且已弃用。我建议你从基本的东西开始并创建一个消费者，用一种试错法来探索 Kafka。我强烈建议你从 Spring-Kafka 开始，它为 Kafka 创建了一个抽象层，这使得它更容易上手。将您的任务分成三个子任务。从多个主题消费，连接到 Dynamo DB，将数据推送到 Dynamo DB。在学习和需要帮助时创建 stackoverflow 问题。
Checkout docs.spring.io/spring-kafka/reference/htmlsingle 以获得可靠的 Spring-Kafka 文档。建议大家在学习的时候使用github.com/Landoop/fast-data-dev作为本地开发环境。不幸的是，我不知道有什么很棒的 Kafka 初学者指南。
不幸的是，这个问题是关于推荐书籍或教程的。根据 SO 政策，这是不适当的内容。但是我相信我们可以与您分享一些 cmets 中的链接。是的，从 Spring Kafka 开始：spring.io/projects/spring-kafka。然后向下滚动到参考手册的末尾，找到一个很好的补充，比如Spring Integration for Apache Kafka，了解什么是 EIP 通道适配器和网关。要写入 DynamoDB，您还可以使用提到的 Spring Integration 并将调用包装到服务激活器中：spring.io/projects/spring-integration#learn
你究竟做了什么来尝试使用那个 Connect 库？
@kkflf BTW，Apache Kafka 文档（以及部分 Confluent 文档）是开源的，如果您觉得可以改进的话。不确定您认为哪些部分已弃用

标签： apache-kafka amazon-dynamodb kafka-producer-api spring-kafka