Redis—数据结构之sds

Redis是一个Key Value数据库。Redis有5种数据类型：字符串、列表、哈希、集合、有序集合。而字符串的底层实现方法之一就是使用sds。以下描述中请读者注意区分sds是指简单动态字符串这一数据结构(用大写表示)还是sdshdr头部中buf数组的起始地址(用小写表示)。

SDS源码

如下源码所示。

根据要保存的字符串长度选用不同的头部大小，从而节省内存，注意sdshdr5与其他不同，下面会有介绍。

SDS由两部分组成：sds、sdshdr。sds是一个char类型的指针，指向buf数组首元素，buf数组是存储字符串的实际位置；sdshdr是SDS的头部，为SDS加上一个头部的好处就是为了提高某些地方的效率，比如获取buf数组中字符串长度，用O（1）的复杂度从头部就能取得。buf数组是一个空数组，从而使得sdshdr是一个可变长度的结构体，用一个空数组的好处就是分配内存时，只用分配一次，而且头部所占用的内存和sds的内存是连续的，释放时也只用释放一次。

sdshdr结构体中各字段的介绍：len : 已存储的字符串长度；alloc : 能存储的字符串的最大容量，不包括SDS头部和结尾的NULL字符；flags : 标志位，低3位代表了sds头部类型，高5位未用；buf[] : 字符数组，存储字符串；注意sdshdr5没有len和alloc字段，其flags的低3位同样代表头部类型，但高5位代表保存的字符串长度。 __attribute__ ((__packed__)) : 使得编译器不会因为内存对齐而在结构体中填充字节，以保证内存的紧凑，这样sds - 1就可以得到flags字段，进而能够得到其头部类型。如果填充了字节，则就不能得到flags字段。

buf数组尾部隐含有一个'\0'，SDS是以len字段来判断是否到达字符串末尾，而不是以'\0'判断结尾。所以sds存储的字符串中间可以出现'\0'，即sds字符串是二进制安全的。

typedef char *sds;

struct __attribute__ ((__packed__)) sdshdr5 {
    unsigned char flags; /* 3 lsb of type, and 5 msb of string length */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr8 {
    uint8_t len; /* used */
    uint8_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr16 {
    uint16_t len; /* used */
    uint16_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr32 {
    uint32_t len; /* used */
    uint32_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr64 {
    uint64_t len; /* used */
    uint64_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};

 

既然有这么多类型的头部，一定会有类似宏定义之类能够标识头部，的确有，如下所示：

// flags的低三位代表不同类型的sds头部：
#define SDS_TYPE_5  0
#define SDS_TYPE_8  1
#define SDS_TYPE_16 2
#define SDS_TYPE_32 3
#define SDS_TYPE_64 4
#define SDS_TYPE_MASK 7
#define SDS_TYPE_BITS 3

 

SDS操作

因为sds和头部是内存连续的，所以当我们得到了一个sds，只要将它-1就可得到flags字段，减头部大小即可得到头部起始地址。SDS的很多操作就是利用了这一点，从而带来了极大的方便和快速。下面我们介绍几个SDS比较重要的几个操作

1. 获取头部起始地址

将sds减去头部大小即可。非常方便快速。

// 返回一个指向sds头部的起始地址的指针
#define SDS_HDR_VAR(T,s) struct sdshdr##T *sh = (void*)((s)-(sizeof(struct sdshdr##T)));
// 返回sds头部的起始地址
#define SDS_HDR(T,s) ((struct sdshdr##T *)((s)-(sizeof(struct sdshdr##T))))

2. 获取buf数组中sds存储的字符串长度

先后移1位，得到flags字段，再和掩码相与即可得到头部类型。

static inline size_t sdslen(const sds s) {
    unsigned char flags = s[-1]; // 内存空间连续，所以往后移1个字节，便是flags字段
    switch(flags&SDS_TYPE_MASK) { // 和flags低3位相与，得到sds头部类型
        case SDS_TYPE_5:
            return SDS_TYPE_5_LEN(flags);
        case SDS_TYPE_8:
            return SDS_HDR(8,s)->len; // 先移动到sds头部的起始地址，进而可以直接获取len字段的值。下同
        case SDS_TYPE_16:
            return SDS_HDR(16,s)->len;
        case SDS_TYPE_32:
            return SDS_HDR(32,s)->len;
        case SDS_TYPE_64:
            return SDS_HDR(64,s)->len;
    }
    return 0;
}

3. 获取buf数组中剩余可用的内存大小

static inline size_t sdsavail(const sds s) {
    unsigned char flags = s[-1]; // 后移1字节，得到flags字段
    switch(flags&SDS_TYPE_MASK) { // 得到sds头部类型
        case SDS_TYPE_5: {
            return 0;
        }
        case SDS_TYPE_8: {
            SDS_HDR_VAR(8,s);
            return sh->alloc - sh->len; // 总大小减去已使用大小
        }
        case SDS_TYPE_16: {
            SDS_HDR_VAR(16,s);
            return sh->alloc - sh->len;
        }
        case SDS_TYPE_32: {
            SDS_HDR_VAR(32,s);
            return sh->alloc - sh->len;
        }
        case SDS_TYPE_64: {
            SDS_HDR_VAR(64,s);
            return sh->alloc - sh->len;
        }
    }
    return 0;
}

4. 使用字符串初始化一个SDS

注意分配时，程序会自动为buf数组最后一个元素后面添加上'\0'，'\0'对外部完全是透明的，分配内存时自动多分配1个字节保存'\0'，buf数组最后自动添加'\0'。

// sds尾部隐含有一个'\0'；sds是以len字段来判断是否到达字符串末尾
// 所以sds存储的字符串中间可以出现'\0'，即sds字符串是二进制安全的

// 分配一个新sds，buf数组存储内容init
sds sdsnewlen(const void *init, size_t initlen) {
    void *sh;
    sds s;
    char type = sdsReqType(initlen); // 根据长度大小选择合适的sds头部
    /* Empty strings are usually created in order to append. Use type 8
     * since type 5 is not good at this. */
    if (type == SDS_TYPE_5 && initlen == 0) type = SDS_TYPE_8;
    int hdrlen = sdsHdrSize(type); // 获取sds头部大小
    unsigned char *fp; /* flags pointer. */

    // 为sds分配内存，总大小为：头部大小+存储字符串的长度+末尾隐含的空字符大小
    sh = s_malloc(hdrlen+initlen+1); 
    if (!init)
        memset(sh, 0, hdrlen+initlen+1); // 内存初始化为0
    if (sh == NULL) return NULL;
    s = (char*)sh+hdrlen; // buf数组的起始地址
    fp = ((unsigned char*)s)-1; // 指向flags字段
    // 初始化sds头部的len,alloc,flags字段
    switch(type) {
        case SDS_TYPE_5: {
            *fp = type | (initlen << SDS_TYPE_BITS);
            break;
        }
        case SDS_TYPE_8: {
            SDS_HDR_VAR(8,s);
            sh->len = initlen;
            sh->alloc = initlen;
            *fp = type;
            break;
        }
        case SDS_TYPE_16: {
            SDS_HDR_VAR(16,s);
            sh->len = initlen;
            sh->alloc = initlen;
            *fp = type;
            break;
        }
        case SDS_TYPE_32: {
            SDS_HDR_VAR(32,s);
            sh->len = initlen;
            sh->alloc = initlen;
            *fp = type;
            break;
        }
        case SDS_TYPE_64: {
            SDS_HDR_VAR(64,s);
            sh->len = initlen;
            sh->alloc = initlen;
            *fp = type;
            break;
        }
    }
    // 初始化buf数组
    if (initlen && init)
        memcpy(s, init, initlen); // 拷贝init到buf数组
    s[initlen] = '\0'; // 添加末尾的空字符
    return s;
}
View Code

相关文章：

猜你喜欢
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode