Spark 写入 S3 存储桶，给出 java.lang.NoClassDefFoundError

Question

我正在尝试将在我的 Mac 上运行的 Spark 2.3.0 与 S3 集成。我可以使用 spark-shell 毫无问题地读/写 S3。但是当我尝试使用我通过 sbt 运行的一个小 Scala 程序来做同样的事情时，我得到了 java.lang.NoClassDefFoundError: org/apache/hadoop/fs/GlobalStorageStatistics$StorageStatisticsProvider。

我已经安装了 hadoop-aws 3.0.0-beta1。 我还在 spark-2.3.0/conf/spark-defaults.conf 中设置了 s3 访问信息：

spark.hadoop.fs.s3a.impl                              org.apache.hadoop.fs.s3a.S3AFileSystem
spark.hadoop.fs.s3a.access.key                        XXXX
spark.hadoop.fs.s3a.secret.key                        YYYY
spark.hadoop.com.amazonaws.services.s3.enableV4       true
spark.hadoop.fs.s3a.endpoint                          s3.us-east-2.amazonaws.com
spark.hadoop.fs.s3a.fast.upload                       true
spark.hadoop.fs.s3a.encryption.enabled                true
spark.hadoop.fs.s3a.server-side-encryption-algorithm  AES256

使用 sbt 0.13 版程序可以正常编译。

name := "S3Test"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.2.0"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.2.0"
libraryDependencies +=  "org.apache.hadoop" % "hadoop-aws" % "3.0.0-beta1"

scala代码是：

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
import com.amazonaws._
import com.amazonaws.auth ._
import com.amazonaws.services.s3 ._
import com.amazonaws. services.s3.model ._
import java.io._
import org.apache.hadoop.fs.FileSystem
import org.apache.hadoop.fs.s3a.S3AFileSystem
object S3Test {
    def main(args: Array[String]) = {
        val spark = SparkSession.builder().master("local").appName("Spark AWS S3 example").getOrCreate()
        import spark.implicits._
        val df  = spark.read.text("test.txt") 
        df.take(5)
        df.write.save(<s3 bucket>)
    }
}

我已经为 JAVA_HOME、HADOOP_HOME、SPARK_HOME、CLASSPATH、SPARK_DIST_CLASSPATH 等设置了环境变量。但是没有什么能让我跳过这个错误消息。

Answer 1

您不能混合使用 hadoop-* JAR，它们都需要完美同步。这意味着：删除所有 hadoop 2.7 工件并替换它们。

FWIW，除了 s3guard DDB 目录服务（性能和通过 dynamo DB 列出）之外，Hadoop 2.8 和 Hadoop 3.0-beta-1 在 aws 支持方面没有足够显着的差异，除非您需要功能，Hadoop 2.8 就足够了。