spark on yarn 安装问题

        在安装spark 时，spark支持三种运行模式standalone,yarn,mesos。其中spark on yarn运行模式又分为cluster模式和client模式。下面就介绍安装spark on yarn一些配置信息。

        1.配置yarn-site.xml

            关闭虚拟机内存检查，避免虚拟机内存不足时，无法使用。 

        

        2.配置hdfs-site.xml

            关闭hdfs权限认证问题

            

3.配置spark-env.sh 需要配置hadoop的conf地址

先启动hadoop的hdfs和yarn，提交代码测试，client模式

登录yarn web界面查看job信息