将 Spark avro 包导入 dockerized python 项目以在 S3 中导入 avro 文件答案

【问题标题】：Importing Spark avro packages into a dockerized python project to import avro file in S3将 Spark avro 包导入 dockerized python 项目以在 S3 中导入 avro 文件
【发布时间】：2021-09-20 00:58:03
【问题描述】：

我正在尝试使用以下代码读取存储在 S3 存储桶中的一些 avro 文件。火花版本是 2.4.7

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('Statistics').getOrCreate()
sc = spark.sparkContext
df = spark.read.format("com.databricks.spark.avro").load("s3://test/sqoopData/part-m-00000.avro")
df.show()

有了这个我得到以下错误

py4j.protocol.Py4JJavaError: An error occurred while calling o28.load.
: java.lang.ClassNotFoundException: Failed to find data source: org.apache.spark.sql.avro.AvroFileFormat. Please find packages at http://spark.apache.org/third-party-projects.html
        at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:678)
        at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:213)
        at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:197)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
        at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
        at py4j.Gateway.invoke(Gateway.java:282)
        at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
        at py4j.commands.CallCommand.execute(CallCommand.java:79)
        at py4j.GatewayConnection.run(GatewayConnection.java:238)
        at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.avro.AvroFileFormat.DefaultSource
        at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
        at org.apache.spark.sql.execution.datasources.DataSource$.$anonfun$lookupDataSource$5(DataSource.scala:652)
        at scala.util.Try$.apply(Try.scala:213)
        at org.apache.spark.sql.execution.datasources.DataSource$.$anonfun$lookupDataSource$4(DataSource.scala:652)
        at scala.util.Failure.orElse(Try.scala:224)
        at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:652)

我知道这是因为我的项目中没有 spark avro 包。但我不确定如何将它们导入我的项目。请注意，所有 spark、hadoop 和 python 都是使用 docker 文件设置的。因此无法应用互联网上给出的一些解决方案。例如，使用 spark shell 导入所需的 jar 文件。

【问题讨论】：

标签： python apache-spark amazon-s3 avro spark-avro

【解决方案1】：

看看这个设置https://github.com/kurtzace/python-spark-avro-query（里面的dockerfile）

此解决方案将 avro jar 加载到 spark jar 中
设立星火之家
还将 avro 文件公开为 API (main.py)

【讨论】：