it-deepinmind

ES+Hbase对接方案概述

方案背景

Hbase的索引方案有很多,越来越多的人开始选择ES+Hbase的方案,其实该方案并没有想象中那么完美,ES并发低,同时查询速度相对Hbase也慢很多,那为什么会选择他呢,它的写入比较快,如果一个宽表需要建20个索引,在数据导入时,hbase每秒导入20W,那么ES压力就是每秒400W,solr和hindex都不能解决该问题。

所以对并发高的业务场景,还是使用华为HIndex这种方案,也可以混合使用

 

方案描述

ES+Hbase对接大致有两种方式,需要根据当前的业务场景做相应的选择,

方案1:

如果是对写入数据性能要求高的业务场景,那么一份数据先写到Hbase,然后再写到ES中,两个写入流程独立,这样可以达到性能最大,目前某公安厅使用该方案,每天需要写入数据200亿,6T数据,每个记录建20左右的索引。

缺点:可能存在数据的不一致性。

 

方案2:

这也是目前网上比较流行的方案,使用hbase的协处理监听数据在Hbase中的变动,实时的更新ES中的索引,

缺点是协处理器会影响Hbase的性能

 

转载于:https://www.cnblogs.com/gaoxing/p/5267512.html

发表于 2021-02-20 15:57  金色的鱼儿  阅读(510)  评论(0编辑  收藏  举报
 

分类:

技术点:

相关文章:

  • 2022-02-11
  • 2021-12-28
  • 2021-09-27
  • 2021-11-18
  • 2021-12-13
  • 2021-08-03
  • 2021-11-17
  • 2021-12-18
猜你喜欢
  • 2022-01-01
  • 2021-12-18
  • 2021-08-03
  • 2021-11-02
  • 2021-10-17
  • 2021-12-19
  • 2021-08-30
相关资源
相似解决方案