Java 如何在 Intellij 中找到 spark、Hadoop 和 AWS jars答案

【问题标题】：How does Java find spark, Hadoop and AWS jars in IntellijJava 如何在 Intellij 中找到 spark、Hadoop 和 AWS jars
【发布时间】：2019-03-03 19:11:42
【问题描述】：

我在 Java 中的 IntelliJ 上运行 spark 应用程序。我在 pom.xml 中添加了 spark、Hadoop 和 AWS 依赖项，但不知何故没有加载 AWS 凭证。

我得到的确切错误是Caused by: com.amazonaws.AmazonClientException: No AWS Credentials provided by BasicAWSCredentialsProvider EnvironmentVariableCredentialsProvider InstanceProfileCredentialsProvider : com.amazonaws.SdkClientException: Unable to load credentials from service endpoint

下面是我的 .java 和 pom.xml 文件。

SparkSession spark  = SparkSession
                    .builder()
                    .master("local") .config("spark.hadoop.fs.s3a.impl","org.apache.hadoop.fs.s3a.S3AFileSystem")            .config("spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version", "2")
                    .config("spark.hadoop.fs.s3a.awsAccessKeyId", AWS_KEY)
                    .config("spark.hadoop.fs.s3a.awsSecretAccessKey", AWS_SECRET_KEY)
                    .getOrCreate();

            JavaSparkContext sc = new JavaSparkContext(spark.sparkContext());
            Dataset<Row> dF = spark.read().load("s3a://bucket/abc.parquet");

这是我的 pom.xml

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.3.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.3.2</version>
    </dependency>
    <dependency>
        <groupId>com.amazonaws</groupId>
        <artifactId>aws-java-sdk</artifactId>
        <version>1.11.417</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-aws</artifactId>
        <version>3.1.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>3.1.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>3.1.1</version>
    </dependency>
</dependencies>

我被困了一段时间并尝试了所有可用的解决方案。我在我的环境中添加了导出 AWS 密钥。

考虑到没有像 python 或 Scala 这样的 java spark shell 并且 pom.xml 是唯一的方法，是否有任何其他方法可以为 java 指定 jar 或键？

【问题讨论】：

标签： java amazon-web-services maven apache-spark intellij-idea

【解决方案1】：

发现您只需要在 SparkContext 中添加 AWS 凭据，而不是在 SparkSession 中。

JavaSparkContext sc = new JavaSparkContext(spark.sparkContext());
sc.hadoopConfiguration().set("fs.s3a.access.key", AWS_KEY);
sc.hadoopConfiguration().set("fs.s3a.secret.key", AWS_SECRET_KEY);

【讨论】：

【解决方案2】：

重点是将 AWS 凭证添加到您的 Hadoop 配置中。无需创建单独的 JavaSparkContext。您可以通过以下方式直接修改 sparkContext 并添加 AWS 凭证：

SparkSession spark = SparkSession.builder()
                     .master("local")
                     .appName("AWSFileRead")
                     .getOrCreate();

spark.sparkContext().hadoopConfiguration().set("fs.s3a.access.key", AWS_KEY);
spark.sparkContext().hadoopConfiguration().set("fs.s3a.secret.key", AWS_SECRET_KEY);

Dataset<Row> awsFileDataset = spark.read().option("header", "true")
                .csv("s3a://your_bucket_name/file_name.csv");

【讨论】：