核心组件
• Statestore Daemon
– 负责收集分布在集群中各个impalad进程的资源信息、各节点健康状况,同步
节点信息.
– 负责query的调度

• Catalog Daemon
– 分发表的元数据信息到各个impalad中
– 接收来自statestore的所有请求

• Impala Daemon(最核心)
– 接收client、hue、jdbc或者odbc请求、Query执行并返回给中心协调节点
– 子节点上的守护进程,负责向statestore保持通信,汇报工作

整体架构
Impala核心组件与架构
首先,由上可知,Statestore和Catalog是需要通信的,所以,搭建时,这两个是放在一台主机上,从而使之通信不需走网络请求。
执行流程:客户端(SQL APP、ODBC)发送SQL请求至Query Planner,解析后送至QueryCoordinator进行负载均衡的一个调度(当前的QueryCoordinator将作为整个job的leader),分发到不同的Impalad进程,并最终通过各个Query Executor来执行查询,最后将执行结果送回QueryCoordinator(leader),返回给客户端。
Impalad的数据是存储在HDFS或者HBasse中,所以,Impalad进程与DataNode部署在一台机器上。

相关文章:

  • 2021-11-22
  • 2021-05-10
  • 2022-12-23
  • 2021-06-08
  • 2021-06-13
  • 2021-11-05
  • 2021-05-24
猜你喜欢
  • 2021-07-23
  • 2021-07-15
  • 2022-12-23
  • 2021-11-19
  • 2022-02-07
  • 2022-12-23
  • 2021-10-02
相关资源
相似解决方案