从 aws s3 pyspark 读取文件数据

Question

我在 s3 中放置了一个 json 文件。 s3 url 与下面类似：

https://s3-eu-region-1.amazonaws.com/dir-resources/sample.json

但在 pyspark 中传递时相同，它没有读取文件。

path = "https://s3-eu-region-1.amazonaws.com/dir-resources/sample.json"
df=spark.read.json(path)

但是我可以通过浏览器下载它。

Answer 1

假设 dir-resources 是您的存储桶的名称，您应该能够通过以下 URI 访问该文件：

path = "s3://dir-resources/sample.json"

在某些情况下，您可能不得不改用 s3n 协议：

path = "s3n://dir-resources/sample.json"