Redis源代码深度解析：数据结构与服务器模型

5星 · 超过95%的资源需积分: 15 24 浏览量更新于2024-07-27 1 收藏 537KB PDF 举报

"Redis源码分析文档，涵盖了Redis的基本功能、服务器模型、虚拟内存、备份机制和主从同步等核心内容。" Redis是一个开源的Key-Value存储系统，支持多种数据类型，包括string、hash、list、set和sorted set。在源码分析中，我们深入探讨了Redis的核心组成部分： 2.1. 链表(adlist.h/adlist.c) Redis中的链表由adlist.h和adlist.c实现，基于`listNode`结构，这是一个双向链表，每个节点包含前一个节点和后一个节点的指针，以及一个void类型的值，用于存储各种数据。 2.2. 字符串(sds.h/sds.c) 字符串在Redis中用sds（Simple Dynamic String）实现，提供了比C语言的char数组更安全和高效的字符串操作。sds结构在内存管理上更为灵活，可以动态扩展和收缩。 2.3. 哈希表(dict.h/dict.c) Redis使用哈希表实现键值对的存储。哈希表在dict.h和dict.c中定义，它通过散列函数将键映射到槽位，实现快速查找。哈希表的性能关键在于解决冲突，Redis采用开放寻址法或链地址法来处理。 2.4. 内存(zmalloc.h/zmalloc.h) 内存管理是Redis性能的关键因素。zmalloc库负责分配和释放内存，优化内存碎片，确保内存的有效利用。 3. 服务器模型 - 事件处理(ae.h/ae.c)：Redis使用事件驱动模型处理I/O事件，如读写、连接建立和关闭。它支持epoll、kqueue等多路复用技术。 - 套接字操作(anet.h/anet.c)：提供网络套接字的创建、连接和读写操作，确保网络通信的可靠性。 - 客户端连接(networking.h/networking.c, redis.c/redis.h)：管理客户端连接，处理客户端发送的命令和返回响应。 - 命令处理：Redis解析和执行客户端发送的各种命令，包括数据操作、事务、复制等。 4. 虚拟内存 Redis的虚拟内存机制允许部分数据存储在磁盘上，以应对大数据量时内存不足的情况。它包括数据的读取过程和数据交换策略。 5. 备份机制 - Snapshot：定期将内存中的数据快照保存到磁盘，用于数据恢复。 - AOF（Append Only File）：记录所有写操作，确保数据一致性。 6. 主从同步 - 建立连接：主从服务器之间建立TCP连接，进行数据传输。 - 指令同步：主服务器将所有未同步的写操作发送给从服务器，保证数据的一致性。 - 主从转换：在特定条件下，如主服务器故障，可以进行主从角色切换，保证服务的连续性。这份源码分析文档详细地介绍了Redis的内部工作原理，对于理解Redis的实现和优化有着重要的参考价值。通过深入学习这些内容，开发者能够更好地定制和扩展Redis，以满足特定的性能和功能需求。

创建sds的方法有：

sds sdsnewlen(const void *init, size_t initlen);

sds sdsnew(const char *init);

sds sdsempty();

三个方法均用zmalloc()分配内存空间，sdsempty()创建空字符串。void

sdsfree(sds s)用于释放字符串。size_t sdslen(const sds s)会返回字符串的总

长度。而size_t sdsavail(sds s)返回字符串中可用的字节数。以下几个函数会涉及

sds内存空间的分配：

sds sdsgrowzero(sds s, size_t len);

sds sdscatlen(sds s, void *t, size_t len);

sds sdscat(sds s, char *t);

sds sdscpylen(sds s, char *t, size_t len);

sds sdscpy(sds s, char *t);

其中sdsgrowzero()会增加sds的内存空间，并用’\0’填充，用free记录空余空

间。sdscat()将字符串t连接在s的尾部，sdscpy()将字符串t复制到s中。若s中空间不

够时，会调用sdsgrowzero()分配更多内存。

此外，sds还提供了一些字符串相关的操作函数，在此不详细分析。

2.3. 哈希表(dict.h/dict.c)

Redis的哈希表最大的特色就是自动扩容。当它的哈希表容量不够时，可以0/1切

换，然后自动扩容。下面具体分析哈希表的实现。

整个哈希系统由结构体dict定义，其中type包含一系列哈希表需要用的函数，

dictht类型的数组ht[2]表示两个哈希表实例，由rehashidx指明下一个需要扩容的哈希

实例的编号，iterators记录外部使用哈希表的迭代器的数目。

typedef struct dict {

dictType *type;

void *privdata;

dictht ht[2];

int rehashidx; /* rehashing not in progress if rehashidx == -1 */

int iterators; /* number of iterators currently running */

} dict;

dictht为哈希表具体实现的结构体，table指向哈希中的记录，用数组＋开链的形式

保存记录；size表示哈希表桶的大小，为2的指数；sizemark＝size-1，方便哈希值根

据size取模；used记录了哈希表中的记录数目。

typedef struct dictht {

dictEntry **table;

unsigned long size;

unsigned long sizemask;

unsigned long used;

} dictht;

哈希表使用开链的方式处理冲突，每条记录都是链表中的一个结点。dictType在哈

希系统中包含了一系列可由应用程序定义的函数指针，包括Hash函数、Key复制、Value

复制、Key比较、Key析构、Value析构，以增加哈希系统的灵活性。其中系统定义了三

种默认的type，表示最常用的三种哈希表。

typedef struct dictType {

unsigned int (*hashFunction)(const void *key);

void *(*keyDup)(void *privdata, const void *key);

Redis源代码分析 · Arch_Platform

6 / 32

void *(*valDup)(void *privdata, const void *obj);

int (*keyCompare)(void *privdata, const void *key1, const void *key2);

void (*keyDestructor)(void *privdata, void *key);

void (*valDestructor)(void *privdata, void *obj);

} dictType;

extern dictType dictTypeHeapStringCopyKey;

extern dictType dictTypeHeapStrings;

extern dictType dictTypeHeapStringCopyKeyValue;

Redis定义了一系列的宏用于操作哈希表，例如设置记录的Value。对外提供的

API，除了常规的创建哈希表，增、删、改记录之外，有两类是比较特别的：自动扩容和迭

代器。

自动扩容

Redis用变量dict_can_resize记录哈希是否可以自动扩容，由两个方法

dictEnableResize()和dictDisableResize()设置该变量。

应用程序可以使用dictResize()扩容，它首先判断是否允许扩容，及是否正在扩

容。若可以扩容，则调用dictExpand()扩容。然后应用程序需要调用

dictRehashMilliseconds()启动扩容过程，并指定扩容过程中记录拷贝速度。

除了应用程序指定的扩容外，在调用dictAdd()往哈希中添加记录时，系统也会通过

调用_dictExpandIfNeeded()判断是否需要扩容。_dictExpandIfNeeded（）中，如

果正在扩容，则不会重复进行扩容；如果哈希表size＝0，即桶数目为0，则扩容到初始大

小；否则如果used>=size，并且can_resize==1或used/size超过阀值（默认为5）

时，以max(used, size)的两倍为基数，调用dictExpand()扩容。

if (dictIsRehashing(d)) return DICT_OK;

if (d->ht[0].size == 0) return dictExpand(d, DICT_HT_INITIAL_SIZE);

if (d->ht[0].used >= d->ht[0].size &&

(dict_can_resize ||

d->ht[0].used/d->ht[0].size > dict_force_resize_ratio))

{

return dictExpand(d, ((d->ht[0].size > d->ht[0].used) ?

d->ht[0].size : d->ht[0].used)*2);

}

return DICT_OK;

dictExpand()进行扩容时，会先选择一个满足size需求的2的指数，然后分配内存

空间，创建新的哈希表。如果此时ht[0]为空，则直接将哈希表赋值给ht[0]；否则，赋值

给ht[1]，并启动拷贝过程，将ht[0]的记录逐个桶地拷贝到ht[1]中。置

rehashidx=0，表明正在扩容，且待拷贝的桶为ht[0]->table[rehashidx]。

dictht n; /* the new hashtable */

unsigned long realsize = _dictNextPower(size);

if (dictIsRehashing(d) || d->ht[0].used > size)

return DICT_ERR;

n.size = realsize;

n.sizemask = realsize-1;

n.table = zcalloc(realsize*sizeof(dictEntry*));

n.used = 0;

if (d->ht[0].table == NULL) {

d->ht[0] = n;

Redis源代码分析 · Arch_Platform

7 / 32

剩余31页未读，继续阅读

minitalk

粉丝: 0
资源: 1

Redis源代码深度解析：数据结构与服务器模型

redis源码分析

redis:redis源码分析与个人理解

Redis_Source_code:Redis源码分析-redis source code

redis源码分析教程之压缩链表ziplist详解

scrapy-redis源码分析之发送POST请求详解

Redis源码分析与公共池见解分享

Redis源码分析：压缩链表ziplist深度解析

Redis源码分析：搭建调试环境与命令流程

Redis源码分析：从事件驱动到数据结构

redis源码日志（源码分析）

最新资源