Spark-Stream 区分 Kafka 主题

Question

如果我为我的 Spark-Streaming 应用程序提供多个这样的主题：

val ssc = new StreamingContext(sc, Seconds(2))
    val topics = Set("raw_1", "raw_2)
    val kafkaParams = Map("metadata.broker.list" -> "localhost:9092")
    val stream = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topics)

当我运行我的应用程序时，我如何从我的流中找出它从哪个主题中提取的有什么区别？有办法吗？如果我做类似的事情

val lines = stream.print() 

我没有得到任何差异化。使 Kafka 消息密钥成为指示因素的唯一方法是什么？

Answer 1

是的，您可以使用createDirectStream 的MessageAndMetadata 版本，它允许您访问消息元数据。

您可以找到示例实现here。