高可用集群搭建:hdfs的HA + yarn的HA

1.HDFS的HA

prototype原型
问题:fsiamge很大,每次都需要传输,性能大幅度下降

【2019春招准备:103. HA】

改进1

【keepAlived】:解决静态路由的单点故障问题

  • Keepalived的作用是检测服务器的状态,如果有一台web服务器宕机,或工作出现故障,Keepalived将检测到,并将有故障的服务器从系统中剔除,同时使用其他服务器代替该服务器的工作,当服务器工作正常后Keepalived自动将服务器加入到服务器群中
  • 起初专为LVS:配置管理、健康监测、高可用

【VRRP】(virtual router Redundancy Protocol 虚拟路由器冗余协议):
几台路由器联合成一个虚拟路由设备,当网关出现故障,能够选举出一个新的网关保证可靠通信。(master-backup)根据优先级和ip进行选举。

  • 问题:如果只是切换ip保证某一个NN和虚拟IP相对应,但是元数据同步是个大问题。Keepalived常见用在web服务器上面,因为两个完全相等,没有数据差异(无状态切换)。

改进2:

补充【RPC】remote procedure call
允许不同机器上的进程相互调用:A调用B的进程,A上面的挂起,B执行
dubbo也是基于rpc的实现
add例子:
【2019春招准备:103. HA】
一般说来是客户端将调用类的名称传递给服务端
引入第三方目标机器:服务器向其注册服务,客户端向其获取服务列表。
有同步rpc,也有异步rpc(超时重试需要服务幂等性处理)
相同作用还有消息队列可以实现,不要求两端同时运行,性能会高一些
【2019春招准备:103. HA】

相关文章: