Spark Scala 代码读取 DSX 中的 aws s3 存储 [关闭]

Question

关于如何使用 scala 阅读 aws s3 的任何想法。我试过这个链接

https://www.cloudera.com/documentation/enterprise/5-5-x/topics/spark_s3.html

但无法让它工作。我可以在数据块中这样做，但使用 dsx 时它不起作用等等。

IBM 在此处记录了 python 的步骤，但没有记录 scala 的步骤 - https://datascience.ibm.com/blog/use-ibm-data-science-experience-to-read-and-write-data-stored-on-amazon-s3/

spark.sparkContext.hadoopConfiguration.set("fs.s3n.impl","org.apache.hadoop.fs.s3native.NativeS3FileSystem") spark.sparkContext.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", "xyz") spark.sparkContext.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey", "abc")

val df_data_1 = spark.read.format("csv").option("header", "true").load("s3a://defg/retail-data/by-day/*.csv") df_data_1.take(5)

Answer 1

不确定使用 native(s3n) 与 s3a 之间是否有任何区别。 但是 s3a 工作正常。

import org.apache.spark.sql.SparkSession

val spark = SparkSession.
    builder().
    getOrCreate()


val hconf = spark.sparkContext.hadoopConfiguration
hconf.set("fs.s3a.access.key", "XXXXXXXXX")  
hconf.set("fs.s3a.secret.key", "XXXXXXXXX") 


val dfData1 = spark.
    read.format("org.apache.spark.sql.execution.datasources.csv.CSVFileFormat").
    option("header", "true").
    option("inferSchema", "true").
    load("s3a://charlesbuckets31/users.csv")
dfData1.show(5)

谢谢， 查尔斯。