Redis 是 Redis remote dictionary server 远程字典服务的缩写。
Redis 所有的数据结构都以唯一的key 作为名称,然后通过唯一的key 来获取value 数据,所以不同类型的数据结构的差异就在于value 的结构不一样。
0. redisObject
src/redis.h 中 redisObject 对象是redis 对内部存储的数据定义的抽象, 定义如下:
typedef struct redisObject { unsigned type:4; unsigned encoding:4; unsigned lru:LRU_BITS; /* lru time (relative to server.lruclock) */ int refcount; void *ptr; } robj;
type: 数据类型
encoding: 编码格式,也就是存储数据使用的数据结构。同一个类型的数据,redis 会根据数据量、内存等使用不同的编码,最大限度的节省内存。
lru: 24位, LRU时间戳或者LFU计数
refcount: 引用计数, 为了节约内存,redis 会在多处用同一个redisObject 对象
ptr: 指向实际的数据结构,如sds, 真正的数据存储在该数据结构中
redisObject 负责装载所有的键值。 ptr 指向真正的存储数据的结构,refcount、lru 等属性用于数据管理(数据共享、数据过期等)。
redis 定义了以下数据类型和编码:
1. String 类型
可以理解为一个字符数组,内部实现类似于ArrayList。 采用预分配冗余空间减少内存的频繁分配。 一般 capacity > length。 字符串最大长度是512MB.
Redis 为当前字符串分配的实际空间capacity 一般要高于实际字符串长度len。 当字符串长度小于1MB时,扩容是加倍现有的空间,超过1MB时每次多扩容1MB。
127.0.0.1:6379> set strkey strval
OK
127.0.0.1:6379> get strkey
"strval"
(1) 其sds 结构如下:
struct sdshdr8 { uint_8 len; // 已使用字节长度 uint_8 alloc; // 已申请字节长度。 alloc - len = 空闲空间 char buf[]; // 字符串内容。遵循c语言字符串的, 保存一个空字符作为buf 的结尾。并且不计入 len 和 alloc 属性 unsigned char flags; }
(2) 字符串一共有三种编码, redis 对数据进行编码的主要目的是最大幅度地节省内存。
OBJ_ENCODING_EMBSTR 长度小于等于44字节的字符串
OBJ_ENCODING_RAW 长度大于44字节的字符串
OBJ_ENCODING_INT 将数值型字符串转为整型, 可以大幅度减少使用的内存空间
(3) 测试:
127.0.0.1:6379> set num1 1 OK 127.0.0.1:6379> type num1 string 127.0.0.1:6379> object encoding num1 "int" 127.0.0.1:6379> set mytest "myvalue" OK 127.0.0.1:6379> type mytest string 127.0.0.1:6379> get mytest "myvalue" 127.0.0.1:6379> object encoding mytest "embstr"
2.list 列表
相当于java 的 LinkedList。 是双向链表而不是数组。
插入和删除非常快,时间复杂度为o(1),但是索引定位非常慢,时间复杂度为O(n)。 而且列表中的每个元素都是双向链表,支持前向后向遍历。
当列表弹出了最后一个元素之后,该数据结构会被自动删除,内存会被回收。
右进左出: 队列
右进右出:栈(很少用作这种数据结构)
深入理解:快速列表。 list 不仅仅是一个简单的LinkedList,是可以称之为快速列表的结构。
在列表元素较少的情况下,会使用一块连续的内存存储,这个结构是ziplist,即压缩列表。它将所有的元素彼此紧挨着一起存储,分配的是一块连续的内存。当元素较多的时候改成quicklist。因为普通的链表需要的附加指针空间会浪费空间,比如链表只是存一个int,但是pre、next 就需要两个额外的指针。所以redis 将 链表和ziplist组合在一起形成了quicklist, 也就是将多个ziplist 用双向指针串起来使用。
3. hash 字典
可以理解为java 的hashmap。 它是无序字典。内部结构也是基于数组+链表。碰撞之后变为链表结构。不同的是,Redis的字典的值只能是字符串,另外rehash 的方式不一样。
当hash移除了最后一个元素之后该数据结构会被自动删除,内存会被回收。
hash 也有缺点,hash 的存储消耗高于单个字符串。
4. set 集合
相当于java 的hashset,它内部的键值对是无序的、唯一的。它的内部实现先当与一个特殊的字典,字典中的所有value 都是一个NULL。(Java 中所有的值都是一个Object 对象)
当集合中最后一个元素被移除之后,数据结构被自动删除,内存被回收。
典型场景: 保存中奖用户的用户ID,因为有去重功能,所以不会重复。
5. zset 有序列表
它类似于java 的 SortedSet 和 HashMap的结合体。一方面它是set保证内部value 的唯一性,另一方面它可以为每个value 赋予一个score代表这个value 的排序权重。
zset 中的最后一个value被移除后也会被内存回收。
典型场景: 保存用户的分数,value 是学生姓名,score 是学生分数
zset 内部是通过跳跃列表的数据结构实现的。跳跃列表类是一种层级结构,最下面一层所有的元素都会串起来。然后每隔几个元素挑处一个代表,再将这几个代表使用另外一级指针串起来。形成金字塔结构。
容器数据结构通用规则:(list、set、zset、hash 是容器数据结构)
1. create if not exists: 如果容器不存在就创建一个
2. drop if no elements: 没有元素则删除后释放内存
关于过期时间:
redis 的所有数据结构都可以设置过期时间,注意hash 的过期时间是整个hash,不是某个key。 而且字符串用set 方法修改后相当于新开对象,过期时间为-1(永久)。
补充:debug 进行测试
127.0.0.1:6379> set mykey myvalue OK 127.0.0.1:6379> debug object mykey Value at:00007FD84A412FE0 refcount:2 encoding:embstr serializedlength:8 lru:1127617 lru_seconds_idle:7 127.0.0.1:6379> lpush mylist 11 22 33 (integer) 3 127.0.0.1:6379> hset myhash key1 value1 (integer) 1 127.0.0.1:6379> sadd myset 11 22 (integer) 2 127.0.0.1:6379> zadd myzset 1 key1 2 key2 (integer) 2 127.0.0.1:6379> debug object myhash Value at:00007FD84A46AED0 refcount:1 encoding:ziplist serializedlength:26 lru:1127883 lru_seconds_idle:68 127.0.0.1:6379> debug object mylist Value at:00007FD84A46AEB0 refcount:1 encoding:quicklist serializedlength:21 lru:1127845 lru_seconds_idle:122 ql_nodes:1 ql_avg_node:3.00 ql_ziplist_max:-2 ql_compressed:0 ql_uncompressed_size:19 127.0.0.1:6379> debug object myset Value at:00007FD84A46AEC0 refcount:1 encoding:intset serializedlength:13 lru:1127917 lru_seconds_idle:59 127.0.0.1:6379> debug object myzset Value at:00007FD84A46AF10 refcount:1 encoding:ziplist serializedlength:28 lru:1127941 lru_seconds_idle:48