将 kafka 消费者消息保存到数据库答案

【问题标题】：Saving kafka consumer messages to database将 kafka 消费者消息保存到数据库
【发布时间】：2015-02-09 13:27:20
【问题描述】：

我正在为流分析制作流式数据库。谁能给我一步一步的代码来更新数据库（如 mySQL 或 Hive）中的 Kafka 消息以将其用于分析？

我设置了 Zookeeper 和 Kafka，但无法将消息保存到任何持久性数据库以将其用于报告。

【问题讨论】：

【解决方案1】：

Spark 与 Kafka 配合得很好。请参阅此documentation。这是 Spark 的 Kafka 消费者这是一个excellent tutorial，让他们一起工作。

一旦你让 Kafka + Spark 一起工作，你就可以将消息存储到数据存储中。 Spark 和 Cassandra 是一种流行的组合。请参阅这些教程以供参考。

【讨论】：

请求您帮助我逐步指导，因为我自己尝试过但没有运气。我想在一侧连接到事务数据库，另一侧想将数据存储在 OLAP 数据库中。例如我想将实时交易传递到数据仓库进行报告。
michael-noll.com/blog/2014/10/01/…

【解决方案2】：

这可能会帮助您入门。 LinkedIn's Kafka to HDFS pipeline

【讨论】：