目录
1、Scala 笔记
左箭头 <- 用于为变量 x 赋值
【容器】
【元组】
【函数属于变量的一种】
2、 Spark笔记
//任务入口
//windows模拟
//配置
val conf = new SparkConf() //spark 任务配置
conf.setAppName("word count") //任务名称 看其名知其意
conf.setMaster("local") //资源管理器，spark运行环境
val sc = new SparkContext(conf) //spark 任务入口
//2.确定输入源
val rdd = sc.textFile("E:\\test.txt") //外部输入流
//第一步 生成单词计数
val rdd2 = rdd.map(x => (x,1))
//相同的key的value聚合到一起
val rdd3 = rdd2.reduceByKey((a,b) => a + b )
//输出到终端
rdd3.foreach(x => println(x))
=> 用法看下面链接：