在 spark 2.4.X 中获取 kafka 标头答案

【问题标题】：Fetch kafka headers in spark 2.4.X在 spark 2.4.X 中获取 kafka 标头
【发布时间】：2020-03-09 13:15:25
【问题描述】：

如何在 Spark Structured Streaming 中获取 Kafka 标头字段（在 Kafka 0.11+ 中引入）？

我看到头文件实现是在 Spark 3.0 中添加的，但在 2.4.5 中没有。我看到默认情况下 spark-sql-kafka-0-10 使用的是 kafka-client 2.0。

如果无法使用 Spark 读取 Kafka 标头，那么您能提出任何替代方案吗？

【问题讨论】：

【解决方案1】：

我没有找到在 spark 2.X 中执行此操作的方法。如果用例简单，可以使用 Kafka connect SMT

【讨论】：