Spark交互式工具spark-shell

REPL

Spark REPL

 

 

Spark shell

 

 

 

下面我们启动一下（我这里搭建的是3节点集群）

 

 

 

 

 

 

sc.后面按TAB键可以把提示调出来

 

 

查看hdfs上文件内容

 

这个数据从这里下载的 https://www.sogou.com/labs/resource/q.php

 

 

 试下读下里面的数据

 

 

这个可以求出有多少行