使用spring apache kafka从kafka主题加载数据到Cassandra答案

【问题标题】：Loading Data to Cassandra from kafka topic using spring apache kafka使用spring apache kafka从kafka主题加载数据到Cassandra
【发布时间】：2021-10-23 21:44:05
【问题描述】：

我正在尝试开发一个 spring 应用程序，它将接受用户的输入并将其存储到主题，然后我不想从这个主题将它加载到 cassandra（注意：- 不使用融合的 kafka 版本）。所以，到目前为止，我能够在 spring 中编写生产者和消费者逻辑，现在需要将数据从 kafka 主题加载到 cassandra。我怎样才能做到这一点？？？当我查看互联网时，建议使用 confluent kafka 提供的 API。但是，我想在春天做。我不确定如何编码，也不确定是否可以使用非融合风格的 apache kafka 来实现这一点。

提前致谢

【问题讨论】：

您可以通过github.com/datastax/kafka-sink使用Kafka Connect
卡夫卡没有“融合”/“其他'风味'”这样的东西。 Confluent 平台包括 Apache Kafka。如果您指的是 Kafka Connect API，那是开源 Apache Kafka 的一部分

标签： java spring apache-kafka cassandra spring-kafka

【解决方案1】：

如果数据已经发布在 Kafka 主题上，您可以只使用 DataStax Kafka connector for Apache Cassandra、DataStax Enterprise 和 Astra DB。

连接器可让您将 Kafka 主题中的记录保存到 Cassandra 表中。它是开源的，因此可以免费使用。干杯！

【讨论】：

【解决方案2】：

Spring Data 有一个 Cassandra 模块：

https://spring.io/projects/spring-data-cassandra

Apache Cassandra NoSQL 数据库为寻求处理高速、大容量和可变数据流的解决方案的团队提供了许多新功能。这种新的思维方式引入了新的概念和学习曲线，可能会吓到团队成员和团队经理。 Spring Data for Apache Cassandra 为过去使用过其他 Spring Data 模块的用户提供了熟悉的界面。

使用 Spring Data for Apache Cassandra 时，使用 Apache Cassandra 开发应用程序的学习曲线显着降低。 Spring Data for Apache Cassandra 模板能够通过带注释的 POJO 保持在高水平，或通过高性能数据摄取功能保持在低水平，一定能满足每个应用程序的需求。

特点基于常见的 Spring Data 接口构建存储库

支持同步、反应式和异步数据操作
支持基于 XML 的键空间创建和 CQL 表创建
对所有集群和会话功能的 JavaConfig 和 XML 支持
异常转换为熟悉的 Spring DataAccessException 层次结构
方便的 QueryBuilders 消除了学习 CQL 的需要
存储库接口的自动实现，包括对自定义查询方法的支持
2.x 版本基于 3.x DataStax CQL Java Driver，3.x 版本使用 DataStax Java Driver 4.x

【讨论】：