条件

采用64位Oracle Linux 6.4, JDK:1.8.0_131 64位, Hadoop:2.7.3
Spark集群实验环境共包含3台服务器,每台机器的主要参数如 表所示:

服务器 HOSTNAME IP 功能
spark1 spark1 92.16.17.1 NN/DN/RM Master/Worker
spark2 spark2 92.16.17.2 DN/NM/Worker
spark3 spark3 92.16.17.3 DN/NM/Worker

过程

  1. 在三个节点上,分别以 hadoop 用户登陆,生成各自的 rsa 公开**和用户名字信息:
    【大数据】集群配置 SSH
    【大数据】集群配置 SSH
    【大数据】集群配置 SSH
  2. 在各节点上把生成的公共**按顺序导入到 authorized_keys 文件保存:
    【大数据】集群配置 SSH
  3. 在各节点上把.ssh 目录的权限从 777 改为 700,原因在于 ssh 机制异常严谨,对文件的权限要求非常严格:
    【大数据】集群配置 SSH
    注意:以上操作需要在每一个节点上都要准确无误地执行
  4. 在 spark1 主节点上执行如图所示命令,将公开**合并分发给其它主机:
    【大数据】集群配置 SSH
  5. 最后一步进行验证,访问其它主机时如果不需要输入密码,就表示 ssh 互信配置成功了:
    【大数据】集群配置 SSH

相关文章: