【发布时间】:2014-08-12 06:05:00
【问题描述】:
我有一个托管大约 80G 数据(大约 1.1 亿行)的 hbase。每行都有可变数量的列。我想主要使用这个 hbase 进行关键查找(大约 1000 万次查找),同时最大限度地减少时间。做这个的最好方式是什么?星门休息接口是否能够处理大量连接?
【问题讨论】:
我有一个托管大约 80G 数据(大约 1.1 亿行)的 hbase。每行都有可变数量的列。我想主要使用这个 hbase 进行关键查找(大约 1000 万次查找),同时最大限度地减少时间。做这个的最好方式是什么?星门休息接口是否能够处理大量连接?
【问题讨论】:
由于 1000 万次查找很高,因此使用 memcache 或 redis 可能是更好的选择。因为 80gb 足够你保存在内存中。
如果你坚持使用 hbase,那么布隆过滤器会帮助你。此外,使用连接池和并行线程将有助于提高性能。
【讨论】: