学习大数据的最开始,从项目搭建开始。

maven、scala以及spark的安装这里不做说明,介绍一个偷懒的项目搭建方法。

1、首先创建一个scala项目,File->New->Project

 Scala-Spark-maven项目搭建

2、选择Scala项目(图中的sbt和maven一样,是一种构建项目的另一种方法)

Scala-Spark-maven项目搭建

3、选择安装的jdk和Scala版本,起好项目名称,保存到期望的目录下

Scala-Spark-maven项目搭建

4、copy一份maven文件过来(pom.xml文件)

5、刷新

Scala-Spark-maven项目搭建

6、创建有一个Scala类,可以看到,spark的包可以正常引import了

Scala-Spark-maven项目搭建

下面开始项目构建:

1、添加artifact,点开项目结构,如图

Scala-Spark-maven项目搭建

2、选择自己的项目,和需要运行的主类

Scala-Spark-maven项目搭建

3、点击ok

4、这里选择下面的这个,这样打出来的包会比较小

Scala-Spark-maven项目搭建

5、然后再ok就好了

6、然后进行artifact的build操作

Scala-Spark-maven项目搭建

7、点击之后会弹出来这个,选择build就好

Scala-Spark-maven项目搭建

项目打包完成之后,接下来启动spark,然后提交任务

我的是windows10环境,直接win+r然后cmd,打开命令窗口,在命令窗口输入命令spark-shell,不行的话用管理员身份试一下。

Scala-Spark-maven项目搭建

打开浏览器输入地址:http://127.0.0.1:4040/jobs/ 可以看到如下界面,说明启动成功。

Scala-Spark-maven项目搭建

 

相关文章: