hive-jdbc获取查询日志慢的问题发现与解决

1、问题描述: 数据平台的临时查询一直有一个问题,就是日志获取太慢了,每次都是和结果一块出来的,这就非常影响用户的体验,半天都没任何输出。另一个是Beeline客户端不一致,beeline客户端每次都能很快的获取日志。 这里首先我们普及一个经验就是第一批日志获取的快慢,非常影响用户体验。如果第一批日 ... »

java操作impala

impala_jdbc下载地址: https://downloads.cloudera.com/connectors/impala_jdbc_2.5.42.1062.zip https://www.cloudera.com/downloads/connectors/impala/jdbc/2-5-4 ... »

hive权威指南<一>

一、ETL介绍: 数据抽取:把不同的数据源数据抓取过来,存到某个地方 数据清洗:过滤那些不符合要求的数据或者修正数据之后再进行抽取 不完整的数据:比如数据里一些应该有的信息缺失,需要补全后再写入数据仓库 错误的数据:比如字符串数据后面有一个回车操作、日期格式不正确、日期越界等,需要修正之后再抽取 重 ... »

cdh版本的hive安装以及配置

hive依赖hadoop 需要的软件包:hive-0.13.1-cdh5.3.6.tar.gz 、hadoop-2.5.0-cdh5.3.6.tar.gz 1、hadoop的安装步骤请访问: http://www.cnblogs.com/xningge/articles/8433297.html 2 ... »

Hive字段中文注释乱码解决办法

Hive字段中文乱码,如执行 show create table xxx 时,表级别注释、字段级别注释发现有乱码现象, 一般都是由hive 元数据库的配置不当造成的。 此时可按如下步骤进行配置调整: 登录hive的元数据库mysql中: 1、设置hive 元数据库字符集 show create da ... »

Hive_UDF函数中集合对象初始化的注意事项

UDF函数中定义的集合对象何时初始化 udf函数放在sql中对某个字段进行处理,那么在底层会创建一个该类的对象,这个对象不断的去调用这个evaluate(...)方法,截图如下: 1.1 如果说对于每一条传入UDF中需要处理的数据都需要全新的集合对象,那么这个时候集合对象就需要在类中声明,在eval ... »

hive入门(一)、什么是hive

1、Hive 基本概念 Hive是基于Hadoop的一个 数据仓库工具,可以将结构化的数据文件映射成一张表,并提供类SQL查询功能; Hive是构建在Hadoop 之上的数据仓库; 使用HQL作为查询接口;使用HDFS存储;使用MapReduce计算; 简单来说,Hive就是在Hadoop上架了一层 ... »

大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法

前言 在搭建大数据Hadoop相关的环境时候,遇到很多了很多错误。我是个喜欢做笔记的人,这些错误基本都记载,并且将解决办法也写上了。因此写成博客,希望能够帮助那些搭建大数据环境的人解决问题。 说明 : 遇到的问题以及相应的解决办法是对于个人当时的环境,具体因人而异。如果碰到同样的问题,本博客的方法无 ... »

hive Beeline plus HiveServer2简单使用

HiveServer2是经常与beeline一起使用,可以用jdbc客户端远程连接,一般用于生产环境。 在提供传统客服端的功能之外,还提供其他功能; Beeline连接 1.先在hadoop集群启动HiveServer2 启动命令:HiveServer2 启动日志在hive.log中查看 2.再启动 ... »