Flafka (Http -> Flume->Kafka ->Spark Streaming)

Question

我有一个实时流式传输的用例，我们将使用 Kafka(0.9) 作为消息缓冲区，使用 Spark Streaming(1.6) 进行流处理 (HDP 2.4)。我们将在 Http 上收到约 80-90K/秒的事件。您能否建议一种推荐的架构，用于将数据摄取到 Kafka 主题中，这些架构将由 Spark 流处理。

我们正在考虑flafka架构。

Flume 监听 Http 并发送到 Kafka (Flafka) 进行实时流式传输是一个不错的选择吗？

如果有的话，请分享其他可能的方法。

Answer 1

一种方法可能是Kafka Connect。 Look for 适合您需求的来源或开发定制的新来源。