如何在 Spark Streaming EC2 集群应用程序中从 S3 读取输入

Question

我正在尝试让我的 Spark Streaming 应用程序从 S3 目录读取他的输入，但在使用 spark-submit 脚本启动它后我一直收到此异常：

Exception in thread "main" java.lang.IllegalArgumentException: AWS Access Key ID and Secret Access Key must be specified as the username or password (respectively) of a s3n URL, or by setting the fs.s3n.awsAccessKeyId or fs.s3n.awsSecretAccessKey properties (respectively).
    at org.apache.hadoop.fs.s3.S3Credentials.initialize(S3Credentials.java:66)
    at org.apache.hadoop.fs.s3native.Jets3tNativeFileSystemStore.initialize(Jets3tNativeFileSystemStore.java:49)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:82)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:59)
    at org.apache.hadoop.fs.s3native.$Proxy6.initialize(Unknown Source)
    at org.apache.hadoop.fs.s3native.NativeS3FileSystem.initialize(NativeS3FileSystem.java:216)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1386)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1404)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:254)
    at org.apache.hadoop.fs.Path.getFileSystem(Path.java:187)
    at org.apache.spark.streaming.StreamingContext.checkpoint(StreamingContext.scala:195)
    at MainClass$.main(MainClass.scala:1190)
    at MainClass.main(MainClass.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:292)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

我正在按照此处http://spark.apache.org/docs/latest/ec2-scripts.html（页面底部）的建议通过此代码块设置这些变量：

val ssc = new org.apache.spark.streaming.StreamingContext(
  conf,
  Seconds(60))
ssc.sparkContext.hadoopConfiguration.set("fs.s3n.awsAccessKeyId",args(2))
ssc.sparkContext.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey",args(3))

args(2) 和 args(3) 当然是我的 AWS Access Key ID 和 Secrete Access Key。

为什么它一直说他们没有设置？

编辑：我也尝试过这种方式，但我得到了同样的例外：

val lines = ssc.textFileStream("s3n://"+ args(2) +":"+ args(3) + "@<mybucket>/path/")

Answer 1

在java中，以下是代码行。您必须在 SparkContext 中添加 AWS 凭据，而不是在 SparkSession 中。

JavaSparkContext sc = new JavaSparkContext(spark.sparkContext());
sc.hadoopConfiguration().set("fs.s3a.access.key", AWS_KEY);
sc.hadoopConfiguration().set("fs.s3a.secret.key", AWS_SECRET_KEY);

Answer 2

最新的 EMR 版本（在 4.6.0 上测试）需要以下配置：

val sc = new SparkContext(conf)
val hadoopConf = sc.hadoopConfiguration
hadoopConf.set("fs.s3.impl", "com.amazon.ws.emr.hadoop.fs.EmrFileSystem")
hadoopConf.set("fs.s3.awsAccessKeyId", myAccessKey)
hadoopConf.set("fs.s3.awsSecretAccessKey", mySecretKey)

尽管在大多数情况下，开箱即用的配置应该可以工作 - 如果您的 S3 凭据与您启动集群时使用的凭据不同。

Answer 3

增加@nealmcb 的答案，最直接的方法是定义

HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 

在conf/spark-env.sh 中或在~/.bashrc 或~/.bash_profile 中导出该环境变量。

只要您可以通过 hadoop 访问 s3，这将起作用。例如，如果你可以运行

hadoop fs -ls s3n://path/

然后hadoop就可以看到s3路径了。

如果hadoop看不到路径，请按照How can I access S3/S3n from a local Hadoop 2.6 installation?中的建议

Answer 4

这在 1.4.1 shell 中适用于我：

val conf = sc.getConf
conf.set("spark.hadoop.fs.s3.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem")
conf.set("spark.hadoop.fs.s3.awsAccessKeyId", <your access key>)
conf.set("spark.hadoop.fs.s3.awsSecretAccessKey", <your secret key>)
SparkHadoopUtil.get.conf.addResource(SparkHadoopUtil.get.newConfiguration(conf))
...
sqlContext.read.parquet("s3://...")

Answer 5

奇怪。尝试在sparkContext 上执行.set。尝试在启动应用程序之前导出环境变量：

export AWS_ACCESS_KEY_ID=<your access>
export AWS_SECRET_ACCESS_KEY=<your secret>

^^这就是我们的做法。

更新：根据@tribbloid 的说法，上述问题在 1.3.0 中出现，现在您必须使用 hdfs-site.xml 进行多年的工作，或者您可以做到（这在 spark-shell 中有效）：

val hadoopConf = sc.hadoopConfiguration;
hadoopConf.set("fs.s3.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem")
hadoopConf.set("fs.s3.awsAccessKeyId", myAccessKey)
hadoopConf.set("fs.s3.awsSecretAccessKey", mySecretKey)

Answer 6

我想将凭据更安全地放在我的一个加密分区上的配置文件中。所以我在运行我的 spark 应用程序之前执行了export HADOOP_CONF_DIR=~/Private/.aws/hadoop_conf，并将一个名为core-site.xml 的文件（通过ecryptfs 加密）放在该目录中，其中包含如下凭据：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
  <name>fs.s3n.awsAccessKeyId</name>
  <value>my_aws_access_key_id_here</value>
  </property>
  <property>
  <name>fs.s3n.awsSecretAccessKey</name>
  <value>my_aws_secret_access_key_here</value>
  </property>
</configuration>

HADOOP_CONF_DIR也可以设置在conf/spark-env.sh中。

Answer 7

对于使用 EMR 的用户，请使用 https://github.com/awslabs/emr-bootstrap-actions/tree/master/spark 中所述的 Spark 构建，并且只需使用 s3:// URI 引用 S3。无需设置 S3 实施或其他配置，因为凭证由 IAM 或角色设置。

Answer 8

在 AWS EMR 上，上述建议不起作用。相反，我在 conf/core-site.xml 中更新了以下属性：

fs.s3n.awsAccessKeyId 和 fs.s3n.awsSecretAccessKey 以及您的 S3 凭证。

Answer 9

以下配置对我有用，请确保您还设置了“fs.s3.impl”：

val conf = new SparkConf().setAppName("Simple Application").setMaster("local")      
val sc = new SparkContext(conf)
val hadoopConf=sc.hadoopConfiguration;
hadoopConf.set("fs.s3.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem")
hadoopConf.set("fs.s3.awsAccessKeyId",myAccessKey)
hadoopConf.set("fs.s3.awsSecretAccessKey",mySecretKey)