RDD的创建方式与实例

Rdd创建方式可分为三种:

1)从集合中创建Rdd(也可称为从内存中创建)

从集合创建Rdd,Spark主要提供了两种函数:parallelize和makeRdd,两种使用相同(推荐使用makeRdd)

spark Rdd的创建
spark Rdd的创建

2)从外部存储创建Rdd

包括本地的文件系统,还有所有Hadoop支持的数据库,比如HDFS、Cassandra、HBASE等

spark Rdd的创建

3)从其他Rdd创建(不做操作)

相关文章: