怎么查看HBase表的创建时间

前几天HBase出现了RIT告警,忽然发现发出告警的Region所属的表并不是我创建出来的,于是就想看看这些表是怎么来的。 一时也没什么头绪,就先看看这些表是什么时候创建出来的吧,然后再根据时间点看看有谁操作了数据库。 那么怎么看表的创建时间呢?desc看一下,也没有这个属性啊。再细想呢,hbase ... »

必会技能!Docker助你快速上手玩转HBase!

前言: 本文主要讲述了如何使用Docker快速上手HBase,省去繁杂的安装部署环境,直接上手,小白必备。适合HBase入门学习及简单代码测试。 1. Docker 安装 参考地址: 支持常用的操作系统:Centos / ubuntu / Windows / macos 等。 2. 拉取镜像 镜像地 ... »

HBase Filter 过滤器之 ValueFilter 详解

前言: 本文详细介绍了 HBase ValueFilter 过滤器 Java&Shell API 的使用,并贴出了相关示例代码以供参考。ValueFilter 基于列值进行过滤,在工作中涉及到需要通过HBase 列值进行数据过滤时可以考虑使用它。比较器细节及原理请参照之前的更文: "HBase Fi ... »

HBase Filter 过滤器之QualifierFilter详解

前言: 本文详细介绍了 HBase QualifierFilter 过滤器 Java&Shell API 的使用,并贴出了相关示例代码以供参考。QualifierFilter 基于列名进行过滤,在工作中涉及到需要通过HBase 列名进行数据过滤时可以考虑使用它。比较器细节及原理请参照之前的更文: " ... »

HBase Filter 过滤器之FamilyFilter详解

前言: 本文详细介绍了 HBase FamilyFilter 过滤器 Java&Shell API 的使用,并贴出了相关示例代码以供参考。FamilyFilter 基于列族进行过滤,在工作中涉及到需要通过HBase 列族进行数据过滤时可以考虑使用它。比较器细节及原理请参照之前的更文: "HBase ... »

实时计算-多级订单金额,及下级人数

1 系统概述 人物关系为代理模式,一级代理包含二级代理,二级代理包含三级代理。 需求为实时计算每个用户的订单金额,并取出金额的TOP100。 并实时计算当天下级人数。 单用户订单列表查询:查询订单表,不限定日期。 当天订单额top100:查询指标表对金额排序取前100,限定日期当天。 当天下级人数: ... »

HBase学习笔记一

HBase简介 HBase概念 HBase的原型是谷歌的Bigtable论文 HBase是一个 高可靠性、高性能、面向列、可伸缩 的分布式存储系统,利用HBase技术可在廉价PC上搭建起大规模结构化存储集群 HBase的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千 ... »

HBase Region重点剖析

Region的概念 Region是HBase数据管理的基本单位。数据的move,数据的balance,数据的split,都是按照region来进行操作的。 region中存储这用户的真实数据,而为了管理这些数据,HBase使用了RegionSever来管理region。 一个表中可以包含一个或多个R ... »

HBase的rowkey设计(含实例)

转自:http://www.aboutyun.com/thread-7119-1-1.html 对于任何系统的数据设计,我们都想提高性能,达到资源最大化利用,那么对于hbase我们产生如下问题:1.hbase rowkey设计如何才能提高性能?2.hbase rowkey如何设计才能散列到不同的节点 ... »

大数据常用技术栈一览

大数据常用技术栈一览 —— GitHub 地址:https://github.com/heibaiying/BigData Notes ,主要技术栈如下: :black_nib: 前 言 1. "大数据常用技术栈思维导图" 2. "大数据常用软件安装指南" 一、Hadoop 1. "分布式文件存储系 ... »

Hive的一些学习内容

Hive相关 metadata是元数据,包含数据库、表、字段、分区等信息。作用:客户端连接MetaStore服务,metastore再去连接MySQL数据库存储元数据,有了metastore服务可以实现多客户端同时连接MySQL。 metastore三种配置:内嵌(Derby)、本地元存储、远程元存 ... »

Hadoop源生实用工具之distcp

1 概览 DistCp(Distributed Copy)是用于大规模集群内部或者集群之间的高性能拷贝工具。 它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。 它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝 备注:在工作中遇到部门间数据合作,夸不 ... »

hbase 预分区与自动分区

我们知道,HBASE在创建表的时候,会自动为表分配一个Region,当一个Region过大达到默认的阈值时(默认10GB大小),HBase中该Region将会进行split,分裂为2个Region,以此类推。表在进行split的时候,会耗费大量的资源,频繁的分区对HBase的性能有巨大的影响。所以, ... »

HBase和Phoneix使用示例

HBase操作 基本操作 创建表 获得表的描述 插入几条记录 查看所有数据scan 获得数据 get 获得一行的所有数据 获得某行,某列族的所有数据 获得某行,某列族,某列的所有数据 预分区 默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端 ... »

大数据项目之_15_电信客服分析平台_01&02_项目背景+项目架构+项目实现+数据生产+数据采集/消费(存储)

一、项目背景二、项目架构三、项目实现3.1、数据生产3.1.1、数据结构3.1.2、编写代码3.1.3、打包测试3.2、数据采集/消费(存储)3.2.1、数据采集:采集实时产生的数据到 kafka 集群3.2.2、编写代码:数据消费(HBase)3.2.3、编写测试单元:范围查找数据(本方案已弃用, ... »