rdd.saveAsTextFile("s3n://bucket-name/path) 正在创建一个文件夹名称为 - [folder-name]_$folder$ 的空文件
似乎hadoop-aws jar (of org.apache.hadoop) 使用这个空文件来模仿 S3 文件系统作为 hadoop 文件系统。
但是，我的应用程序将数千个文件写入 S3。当saveAsTextFile 创建文件夹（从给定路径）以写入数据（从rdd）时，我的应用程序最终创建了数千个这样的空文件-[directory-name]_$folder$。
有没有办法让rdd.saveAsTextFile不写这些空文件？
【问题讨论】：
标签： hadoop apache-spark amazon-s3 apache-spark-sql
停止使用 s3n，切换到 s3a。它更快并且实际受支持。这将使这个问题以及读取大型 Parquet/ORC 文件的严重性能问题消失。
此外，如果您的应用在 S3 中创建了数千个小文件，那么您将在未来产生性能问题：在 S3 上列出和打开文件的速度很慢。尝试将源数据合并到更大的列格式文件中，并使用您的框架必须的任何 SELECT 机制来仅读取您想要的位
【讨论】：
s3a，但它仍在创建<directory-name>_$folder$ 文件。
S3AFileSystem 的源代码，它位于我面前的IDE 中。 $folder$ 后缀在目录检查中被查找，但从未创建。如果它们出现了，那么除了 s3a 之外的其他东西正在这样做。
fs.s3a.impl的值，我用的是org.apache.hadoop.fs.s3native.NativeS3FileSystem。
fs.s3a.impl，但我没有提供。我没有办法更新core-default.xml（在我正在部署我的应用程序的节点上），所以，火花从core-default 中选择了什么属性/值。