以 avro 格式将数据帧写入 kafka 主题以用于 spark < 2.4？答案

【问题标题】：Writing dataframe to kafka topic in an avro format for spark < 2.4?以 avro 格式将数据帧写入 kafka 主题以用于 spark < 2.4？
【发布时间】：2020-09-05 08:44:48
【问题描述】：

第一季度。考虑到我有一个数据框 df 和一个架构 myschema，我该如何继续以 avro 格式将数据框写入 kafka 主题？

第二季度。如果不考虑udf，有什么优化的方法吗？

大多数可用的解决方案都适用于 spark > 2.4，它们具有内置的 avro 功能可供使用。

【问题讨论】：

这能回答你的问题吗？ Spark Dataframe write to kafka topic in avro format?
我从那里尝试过，eventDF.select( encodeUDF(struct(eventDF.columns.map(column):_*)).alias("value") ) struct 和 column 显示为红色，请您帮我定义这些选择查询
1) 您在使用模式注册表吗？ 2）它们被读取是因为您从未定义/导入它们
此文档页面是正确的，如果您不使用架构注册表spark.apache.org/docs/latest/…

标签： apache-spark apache-kafka avro spark-avro

【解决方案1】：

大多数可用的解决方案都适用于 spark > 2.4，它们具有内置的 avro 功能

该内置函数was an external library，但后来被合并到主 Spark 项目中。如果你有

【讨论】：