1 .hive简介
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
1.1直接使用hadoop面临的问题
人员学习成本太高
项目周期要求太短
MapReduce实现复杂查询逻辑开发难度太大
1.2为什么要使用hive
操作接口采用类SQL语法,提供快速开发的能力。
避免了去写MapReduce,减少开发人员的学习成本。
扩展功能很方便。
1.3hive的特点
可扩展->Hive可以自由的扩展集群的规模,一般情况下不需要重启服务。
延展性->Hive支持用户自定义函数,用户可以根据自己的需求来实现自己的函数。
容错->良好的容错性,节点出现问题SQL仍可完成执行。
2.hive安装
hive只在集群中一个节点安装即可
2.1 安装mysql数据库
2.2 在apache 下载 hive安装包,并解压。
2.3配置hive
2.3.1 配置HIVE HOME环境变量
vi conf/hive-env.sh 配置其中的$hadoop_home
2.3.2 配置元数据信息 vi hive-site.xml
<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> <description>password to use against metastore database</description> </property> </configuration>