粘贴 Spark Scala 脚本以检查 S3 中是否存在文件？

Question

我是编写 AWS Glue 脚本的新手，我想检查是否有办法使用 Spark/Scala 检查 S3 存储桶中是否已存在密钥、文件或路径名？

谢谢！

Answer 1

是的，您可以使用像 this 这样的库来检查 S3 中是否存在文件。您必须将 jar 上传到 S3，以便您可以在 Glue Job 中将其作为外部库引用。

另一种方法是像这样使用 Filesystem.Get 方法：

var sc = new SparkContext()
if(FileSystem.get(URI.create("s3://s3bucket/"), sc.hadoopConfiguration).exists(new Path("s3://s3bucket/")))
{
     println("File exists")
}