使用spark对文件内容进行分组

1.首先打开spark
命令：
bin/spark-shell
2.在spark中创建一个文件夹，在里面创建2个TXT文件
3 执行命令 sc 是上下文执行文件 textFile(“input”)是指定文件夹，.flatMap(.split(" ")) 是进行分组 .map((,1))是一种转化结构，.reduceByKey(+)是分组聚合 .collect打印结果

scala> sc .textFile(“input”).flatMap(.split(" ")).map((,1)).reduceByKey(+).collect