使用spark shell 编写第一个代码

spark初学

1. 启动 spark shell : spark-shell .启动之后会自动创建sc的spark context对象
2. 加载text文件: spark创建sc,可以加载本地文件和HDFS文件创建RDD.
   val textFile = sc.textFile(“file:///usr/local/spark/README.md”) (加载本地文件)
   //获取文件textFile的第一行的内容
   textFile.first()
   //获取RDD文件textFile所有项的计数
   textFile.count()
   //抽取含有spark的行,返回一个新的RDD
   val lineWithSpark = textFile.filter(line => line.contains(“Spark”))
   //统计新的RDD的行数
   lineWithSpark.count()
   可以通过RDD擦欧总进行组合,实现简易MapReduce的操作
   // 找出文本中每行的最多单词数
   textFile.map(line => line.split(" ").size).reduce((a, b) => if (a > b) a else b)