尝试访问 AWS Mumbai S3 服务器时出现 301 重定向

Question

我在亚太地区（孟买）地区创建了一个存储桶，在新加坡地区创建了另一个存储桶。我将键设置为环境变量。然后在 Spark shell 中运行以下命令。

新加坡：

sc.hadoopConfiguration.set("fs.s3a.endpoint","s3-ap-southeast-1.amazonaws.com")
val testdf = sqlContext.read.csv("s3a://dev-singapore/test.csv")

运行良好。

孟买：

sc.hadoopConfiguration.set("fs.s3a.endpoint","s3.ap-south-1.amazonaws.com")
val testdf = sqlContext.read.csv("s3a://dev-mumbai/test.csv")

但它给了我以下错误

17/05/31 11:56:58 WARN DataSource: Error while looking for metadata directory.
com.amazonaws.services.s3.model.AmazonS3Exception: Status Code: 301, AWS Service: Amazon S3, AWS Request ID: BDFC*****9C820, AWS Error Code: null, AWS Error Message: Moved Permanently
at com.amazonaws.http.AmazonHttpClient.handleErrorResponse(AmazonHttpClient.java:798)
at com.amazonaws.http.AmazonHttpClient.executeHelper(AmazonHttpClient.java:421)
at com.amazonaws.http.AmazonHttpClient.execute(AmazonHttpClient.java:232)

---

孟买地区 S3 服务器仅支持签名版本 4，而新加坡同时支持版本 2 和 4。

我使用了来自 docker 镜像 https://hub.docker.com/r/stvdberghe/spark-s3/ 的 Spark (2.0.0)

Answer 1

301 通常意味着您选择的端点不是存储桶实际所在的端点。

尝试在设置 spark 上下文时设置端点，而不是稍后，在 spark-default.conf 或 sparkConf.set("spark.hadoop.fs.s3a.endpoint", ...)

Answer 2

经过大量的尝试和研究，我可以找出问题所在。让我们重温我的旅程。

Hadoop 2.8 与 Mumbai s3a 一起工作。带有 Hadoop 2.7 的 Spark 2.1.1 无法正常工作。 Spark 依赖于 Hadoop aws 库来连接到 S3。所以，我发现 Hadoop 是罪魁祸首。然后我寻找带有 Hadoop 2.8 发行版的 Spark，但它不可用。我尝试替换 Spark-2.1.1-hadoop-2.7 的 Hadoop 库，但不太合适。 AWS 改变了许多 API，甚至 Hadoop 也改变了客户端库以连接到 S3/AWS 服务。它合并了 hadoop-aws 和 aws-java-sdk；添加了 aws-java-sdk-s3 和更多库。 最后，我使用 Hadoop 2.8 (https://spark.apache.org/docs/2.1.0/building-spark.html#specifying-the-hadoop-version) 构建了 Spark。终于成功了。

虽然我得到了一些 Classnotfound 的错误

org.apache.hadoop.fs.s3a.S3AFileSystem

所以我从 mvn 存储库网站下载了以下内容（因为这里提到了 s3a 依赖项中的 https://hadoop.apache.org/docs/current3/hadoop-aws/tools/hadoop-aws/index.html#Dependencies）

• aws-java-sdk-core-1.10.6.jar
• aws-java-sdk-kms-1.10.6.jar
• aws-java-sdk-s3-1.10.6.jar
• hadoop-aws-2.8.0.jar

对于确切的版本，我查看了 Hadoop 2.8 库 ($HADOOP_HOME/share/hadoop/tools/lib/) 文件夹。之后，我上了joda课

org/joda/time/format/DateTimeFormat

我通过从 mvn 存储库网站下载 joda-time-2.8.2 jar 文件解决了未找到错误。