在该语句之前加上repartition(1)，即写作以下形式：
rdd.repartition(1).saveAsTextFile("out.txt")即，之前每个partition保存成一个txt文件，现repartition成一个分区，然后再保存。
注意（未验证）：这个操作对于大文件来说，repartition(1)可能会导致某一个节点内存不足，超出的部分会临时存放在硬盘中，影响saveAsTextFile存储速度。
相关文章：
相似解决方案
热门标签
在该语句之前加上repartition(1)，即写作以下形式：
rdd.repartition(1).saveAsTextFile("out.txt")即，之前每个partition保存成一个txt文件，现repartition成一个分区，然后再保存。
注意（未验证）：这个操作对于大文件来说，repartition(1)可能会导致某一个节点内存不足，超出的部分会临时存放在硬盘中，影响saveAsTextFile存储速度。
相关文章：