【Spark】SparkCore深入解析(一)【Spark】SparkCore深入解析(一)【Spark】SparkCore深入解析(一)【Spark】SparkCore深入解析(一)

(图片来源于网络,侵删)


textFile() 与 sc.wholeTextFiles的区别

1)当指定的路径是目录且该目录下全部都是文件时,textFile() 和 wholeTextFiles() 都正常读取
2)当指定的路径是文件时,textFile() 和 wholeTextFiles() 都正常读取
3)当指定的路径是目录且该目录下既有文件也有目录时,textFile() 会报错, wholeTextFiles() 正常读取该目录下的所有文件

1)textFile读取文件的每一行作为 列表List的 一条记录,所以返回一个RDD[String]
2) wholeTextFiles() 读取是按照文件进行读取,返回一个RDD[(key, val)],其中key是该文件的文件路径,value是这个文件的所有数据,所以我们对value进行数据解析(例如通过\r\n将数据进行按行切分),才能对文件数据进行操作

未完待续…


都看到这里了,点赞评论一下吧!!!

【Spark】SparkCore深入解析(一)

相关文章: