使用 spark/scala 应用程序访问 s3 时找不到 AWS 凭证

Question

我用的是windows环境，没有安装hadoop，我有一个hadoop文件夹，里面有bin和winutils，就这些了。

我已经根据文档为 id 和 secret 设置了环境变量，但不断收到此异常：

Exception in thread "main" java.lang.IllegalArgumentException: AWS Access Key ID and Secret Access Key must be specified as the username or password (respectively) of a s3n URL, or by setting the fs.s3n.awsAccessKeyId or fs.s3n.awsSecretAccessKey properti

知道如何解决吗？

我已经确认变量是通过回显它们设置的，但它们没有被拾取 - 谢谢。/

Answer 1

你试过这个配置吗？

val sc = new SparkContext(conf)
val hadoopConf = sc.hadoopConfiguration;
hadoopConf.set("fs.s3.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem")
hadoopConf.set("fs.s3.awsAccessKeyId",myAccessKey)
hadoopConf.set("fs.s3.awsSecretAccessKey",mySecretKey)