创建intRDD并转化为List输入

Spark-RDD基本转换和动作运算实例

创建StringRDD

Spark-RDD基本转换和动作运算实例

通过给map函数传入匿名函数操作RDD

Spark-RDD基本转换和动作运算实例

filter数字运算:过滤

数值运算

Spark-RDD基本转换和动作运算实例

字符运算

Spark-RDD基本转换和动作运算实例

distinct运算:除去重复元素

Spark-RDD基本转换和动作运算实例

randdomSplit运算:将整个集合元素以随机数的方式按照比列分为多个RDD

Spark-RDD基本转换和动作运算实例

groupBy运算:可以按照传入的匿名函数规则将数据分为多个List

Spark-RDD基本转换和动作运算实例

多个RDD转换运算

创建多个RDD:

Spark-RDD基本转换和动作运算实例

union并集,intersection交集,subtract差集,cartesian笛卡儿积运算:

Spark-RDD基本转换和动作运算实例

基本动作运算:

(1)读取元素

         intRDD.first()   ------------取出第一项数据

         intRDD.take(2) ----------取出前二项数据

         intRDD.takeOrdered(3) ----------从小到大排序,取出前3项

         Spark-RDD基本转换和动作运算实例

(2)统计功能

          intRDD1.stats()----------统计

          intRDD1.min()--------最小

          intRDD1.stdev()--------标准差

         intRDD1.count()--------计数

          intRDD1.sum()--------计和

          intRDD1.mean()--------平均

          Spark-RDD基本转换和动作运算实例

 

相关文章: