简介:Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator(调度节点)和多个worker。 由客户端提交查询,从Presto命令行CLI提交到coordinator。 coordinator进行解析,分析并执行查询计划,然后分发处理队列到worker中。
 
1、环境准备
 
Centos
Java8
Python3.x
Hadoop2.x
 
2、集群规划
 
Azkaban01
Azkabna02
Azkaban03
 
3、连接器
 
u Apache Hadoop 1.x  hive-hadoop1
u Apache Hadoop 2.x  hive-hadoop2
u Cloudera CDH 4       hive-cdh4
u Cloudera CDH 5       hive-cdh5
 
 
4、安装步骤
 
下载presto-server-0.203.tar.gz,解压到azkabna03中的/home目录中,重命名为presto203,如图所示:
 Presto集群安装
5、配置文件
 
 在安装目录中创建一个etc目录, 在这个etc目录中放入以下配置文件:
u 1. config.properties Presto 服务配置
u 2. node.properties :环境变量配置,每个节点特定配置
u 3. jvm.config Java虚拟机的命令行选项
u 4. log.properties: 允许你根据不同的日志结构设置不同的日志级别
u 5. catalog目录 :每个连接者配置(data sources
 
如图所示:
 Presto集群安装
 
config.properties
 包含了Presto server的所有配置信息。 每个Presto server既是一个coordinator也是一个worker。 但是在大型集群中,处于性能考虑,建议单独用一台机器作为 coordinator,一个coordinatoretc/config.properties应该至少包含以下信息:
Presto集群安装
node.properties
 包含针对于每个节点的特定的配置信息。 一个节点就是在一台机器上安装的Presto实例,etc/node.properties配置文件至少包含如下配置信息
Presto集群安装
jvm.config
 包含一系列在启动JVM的时候需要使用的命令行选项。这份配置文件的格式是:一系列的选项,每行配置一个单独的选项。由于这些选项不在shell命令中使用。 因此即使将每个选项通过空格或者其他的分隔符分开,java程序也不会将这些选项分开,而是作为一个命令行选项处理,信息如下:
 Presto集群安装
log.properties
  这个配置文件中允许你根据不同的日志结构设置不同的日志级别。每个logger都有一个名字(通常是使用logger的类的全标示类名). Loggers通过名字中的“.“来表示层级和集成关系,信息如下:
Presto集群安装
Catalog Properties
通过在etc/catalog目录下创建catalog属性文件来完成catalogs的注册。 例如:可以先创建一个etc/catalog/jmx.properties文件,文件中的内容如下,完成在jmxcatalog上挂载一个jmxconnector
Presto集群安装
etc/catalog目录下创建hive.properties,信息如下:
Presto集群安装
6、分部式部署
 
azkabna03上的presto203拷贝到azkaban01azkaban02
 
修改azkaban01中的配置文件,主要修改congig.propertiesnode.properties两个配置文件
 
congig.properties修改为如下
 Presto集群安装
Node.properties修改为如下
Presto集群安装
修改Azkaban02中的两个配置文件,同上,node.id设置为azkaban02即可
 
 
 
7、启动  
 
azkaban03azkaban02azkaban01上依次启动如下命令:
 
bin/launcher start
 
8、停止
 
bin/launcher stop
 
9、客户端下载
 
下载presto-cli-0.203-executable.jar,重命名为presto,然后执行chmod +x presto设置可执行权限,执行如下命令:
 
./presto --server azkaban03:9999 --catalog hive --schema default
 
即可进入cli进行查询
 
10、webUI界面:
 
 
 
参数说明以及详细介绍参考如下网址:
 

相关文章:

  • 2021-11-03
  • 2018-08-27
  • 2018-11-21
  • 2019-07-02
  • 2021-11-30
  • 2021-11-19
  • 2020-05-11
猜你喜欢
  • 2021-12-08
  • 2018-05-21
  • 2021-11-02
  • 2021-06-21
  • 2018-04-19
  • 2018-06-13
  • 2019-11-14
  • 2021-11-02
相关资源
相似解决方案