【发布时间】：2016-06-21 04:05:30
【问题描述】：
到目前为止，我的架构包括用于数据预处理的 Storm/Spark 流，但我在某处读到 Flume 与 Kafka 的集成有很多好处。我正在对 5 个来源进行实时流式传输，包括传感器、视频、结构化、远程信息处理和社交媒体数据。
谁能告诉我为什么要一起使用kafka和flume？
【问题讨论】：
标签： apache-kafka flume
【发布时间】：2016-06-21 04:05:30
【问题描述】：
关于Flume
- 您可以使用 Flume 确保您的消息可以轻松收集（不会丢失，当您收集元数据以供进一步使用时）
关于卡夫卡（Kafka introduction）
- 您可以使用 kafka 确保您的消息正确，并且易于使用（不会丢失或复制，当您要计算时）
总结
其实flume是为收集而创建的数据收集器，Kafka是为存储和消费数据而创建的dispatcher。Kafka是消息队列，就像redis一样。
当然，如果你愿意，你可以单独使用Flume而不用Kafka。
【讨论】：