在 Azure HDI4.0 中读取 Avro答案

【问题标题】：Read Avro in Azure HDI4.0在 Azure HDI4.0 中读取 Avro
【发布时间】：2020-02-22 00:26:19
【问题描述】：

我正在尝试使用带有 Spark 2.4 的 Azure HDInsight 4.0 中的 Jupyter 笔记本读取 Avro 文件。我无法正确地将 .jar 文件提供给

%%configure
{ "conf": {"spark.jars.packages": "com.databricks:spark-avro_2.11:4.0.0" }}

这会产生错误消息：

pyspark.sql.utils.AnalysisException：'未能找到数据源：avro。自 Spark 2.4 以来，Avro 是内置但外部的数据源模块。请按照“Apache Avro 数据源指南”的部署部分部署应用程序。;'

【问题讨论】：

试试这个解决方案stackoverflow.com/questions/56618866/…
该解决方案在其他环境中工作（测试成功）但在 HDInsight 上失败：第一个命令创建 spark 会话，因此 spark-submit 甚至在导入操作系统之前启动

【解决方案1】：

似乎可行的解决方案是

%%configure -f 
{ "conf": {"spark.jars.packages": "org.apache.spark:spark-avro_2.11:2.4.0" }}

【讨论】：