将文件写入 blob 容器时在根容器中创建空文件

Question

将数据从数据帧写入路径 路径 = rootcontainer/container1 + "/" + 文件名 df.repartition(1) 。写 .format("com.databricks.spark.csv") .option（“标题”，“真”） .option("分隔符", 分隔符) .option("报价", "\u0000") .mode（保存模式。覆盖） .save(路径)

执行上述命令时，除了在rootcontainer/container1/fileName中创建实际文件外，它还在rootcontainer/container1中创建空的blob文件（fileName）

我们如何避免在根文件夹中创建空 blob？

Answer 1

这在几个 Azure Blob 存储工具（AZCopy、数据工厂、一些 Spark 作业等）中经常发生。它源于这样一个事实，即目录/文件夹实际上并不存在于 Blob 存储中，而是命名约定的一部分。因此，其中一些工具会创建 0 字节工件作为其过程的一部分来表示这些路径。有些工具比其他工具在自己清理方面做得更好，但确实没有办法阻止它们的产生。操作完成后，您可以删除它们而不会产生任何后果。

这只是我的猜测，但可能有帮助的一件事是使用 Data Lake Storage 而不是传统的 Blob 存储。