如何获取由 Spark df.write 创建的文件/文件？

Question

我需要捕获作为df.write.parquet("s3://bkt/folder", mode="append") 命令的结果创建的镶木地板文件。

我在 AWS EMR pyspark 上运行它。

我可以使用 wr.s3.to_parquet() 使用 awswrangler 来实现这一点，但这并不适合我的 EMR spark 用例。

有这样的功能吗？

我想要 spark 写的 s3://bkt/folder 中的文件列表

谢谢大家

Answer 1

如果您想要一个 spark 写入特定 S3 路径的文件列表，您可以使用以下任一方法：

使用 input_file_name 这将给出记录的来源文件路径，并通过选择 filename 来执行不同的操作：

from  pyspark.sql.functions import input_file_name
df=spark.read.parquet("s3://bkt/folder")
df.withColumn("filename", input_file_name())

或者您可以使用 boto3 列出文件：

from boto3 import client

conn = client('s3')  # again assumes boto.cfg setup, assume AWS S3
for key in conn.list_objects(Bucket='bucket_name')['Contents']:
    print(key['Key'])