实现步骤:

1)安装和配置好JDK

2)上传和解压Spark安装包

3)进入Spark安装目录下的conf目录

复制conf spark-env.sh.template 文件为 spark-env.sh

在其中修改,增加如下内容:

SPARK_LOCAL_IP=服务器IP地址

   

Spark单机模式启动

在bin目录下执行:sh spark-shell --master=local

   

启动后 发现打印消息

Spark context Web UI available at http://192.168.242.101:4040//Spark的浏览器界面

Spark单机模式安装

Spark context available as 'sc' (master = local, app id = local-1490336686508).//Spark提供了环境对象 sc

Spark session available as 'spark'.//Spark提供了会话独享spark

   

相关文章:

  • 2022-01-17
  • 2022-03-06
  • 2021-11-08
  • 2022-12-23
  • 2021-12-29
  • 2022-01-21
猜你喜欢
  • 2021-10-17
  • 2021-12-31
  • 2021-12-25
  • 2021-09-24
  • 2022-12-23
  • 2022-12-23
  • 2021-09-20
相关资源
相似解决方案