Redis 空间压缩--布隆过滤器对名单处理

Redis 空间压缩--布隆过滤器对名单处理

redis

---

一、布隆过滤器知识分享：

http://www.cnblogs.com/allensun/archive/2011/02/16/1956532.html

---

二、名词解释：

• 复杂度 k： 几个值确定一条数据。（内存中几个bit 位）。
• 向量值: m/n : m为申请的数据量， n 为实际的数据量。
• 假阳性： 不同数据生成同一个布隆值。
• 单位换算： 
  布隆内存 bit= 数据量 * 向量值

---

三、 名单案例处理

1、需求 ：

167 基本 2.68 亿的数据量， 布隆假阳性在 千万分之几的。

2、选择方案：

m/n = 40 
复杂度 k = 9 
假阳性： 5.47219E-07

redis 使用 Hashes 存储。 Key field value 格式。 （ fields 数量默认小于 1000，时 Redis 自行压缩） 
内存情况： bit= 167 * 40 = 1280.0 MB 
数据进行处理（md5 加密， 16进制） ， key 存储 2位， field 存储2位， 单个 value 内存 1280.0 MB / 164 = 20.0 KB

• 【理论数据越分散，假阳性越接近计算出来的理论值】

---

3.方案流程图：