spark中的文件读取与存储
一、saveAsTextFile(path:String)
把RDD保存到hdfs中。
二、reparation(numPartitions:Int)
可以增加或减少此RDD的并行级别 在内部 它使用shuffle重新分发数据。
//首先查看这个RDD有多少分区
scala> allscores.partitions.size
res8: Int = 4
//把RDD的分区数量设为1 然后传入hdfs中。否则会在hdfs中默认创建四个分区
scala> allscores.repartition(1).saveAsTextFile("hdfs://master:9000//usr/root/sparkdata/scores")
该目录下只有一个文件。
三、coalesce
coalesce(numPartitions:Int,shuffle:Boolean=false,partitionCoalescer:Option[PartitionCoalescer]=Option.empty)