一,下载需要的包

SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1
manifest.json
SPARK2_ON_YARN-2.4.0.cloudera2.jar

二,将包放入对应的路径下

SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1
manifest.json

以上三个包放入到/data/app/hadoop/opt/cloudera/parcel-repo(此路径是根据集群parcel目录配置而定,主要看自己配置的路径是什么,默认路径是/opt/cloudera/parcel-repo)需要将SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1这个包修改为SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha,将后面的1去掉

CDH5.16 安装 spark2.4

放入后需要修改相应的所属组及权限,我直接将权限修改为755

CDH5.16 安装 spark2.4

将SPARK2_ON_YARN-2.4.0.cloudera2.jar放入到/data/app/hadoop/opt/cloudera/csd(根据自己的配置路径去放),放入后记得修改所属组及用户

注意:这个路径默认是/opt/cloudera/csd,一定要看好了再放,否则安装服务时找不到要安装的spark2,这块我就没有注意,所以被坑了,**后一直找不到服务,如果想修改csd的路径,可以在下面修改

CDH5.16 安装 spark2.4

三,安装

点击parcel,找到spark2,进行分配和**,分配可能有些慢,**成功后就可以去安装服务了

CDH5.16 安装 spark2.4

遇到的问题:

**后安装时,不显示spark2:是因为集群中配置的csd路径是/opt/cloudera/csd,而我使用的路径是/data/app/hadoop/opt/cloudera/csd,将jar包放入到了此路径下,所以**后无法安装,只需要放入到对应的路径或者修改csd的路径即可,上面说了怎么修改这个路径

 

 

 

相关文章:

  • 2021-10-20
  • 2021-10-21
  • 2021-10-12
  • 2022-02-09
  • 2021-08-06
  • 2021-10-21
  • 2021-11-16
  • 2021-10-13
猜你喜欢
  • 2021-12-27
  • 2022-12-23
  • 2022-12-23
  • 2021-07-09
  • 2019-03-06
  • 2021-05-26
  • 2022-03-08
相关资源
相似解决方案