Redis底层结构全解析:五大类型编码原理与性能优化实践
先抛一个我常拿来当“试金石”的问题:Redis的String类型,存一个“42”和存一个“hello”,底层用的是同一种结构吗?再追问一层:ZSet为什么非要用跳表,而不是红黑树?如果你第一反应是要翻源码,那这篇算是写对了人。
Redis的数据类型和底层结构,是所有做后端、做缓存治理、甚至准备面试的人绕不过去的一块硬骨头。网上讲“五大数据类型怎么用”的文章满地都是,但真正把底层结构讲透、讲明白“为什么这么设计”的并不多。这篇文章我用实操视角把String、Hash、List、Set、ZSet五种常见类型的底层编码方式、转换阈值、内存逻辑、性能坑位全部拆一遍,顺便把生产环境排查时怎么用命令观察底层结构、怎么通过底层结构反推性能问题的方法也一并给出来。
1. 先理清一个概念:数据类型是外表,底层编码是心
1.1 Redis为什么要搞“两层设计”
很多刚接触Redis的人会有一个疑问:一共就五种数据类型,直接一种类型对应一种存储结构不就行了,为什么非要底层再套一层“编码”?
原因其实很现实:内存和性能之间需要做取舍。同一个Hash对象,里面只存3个键值对的时候,如果直接给它分配一个完整的哈希表,光指针数组就占掉一大块内存。这时候用一块连续、紧凑的内存把数据按顺序塞进去,既省内存又省分配时间。但当这个Hash膨胀到一万个键值对的时候,连续的紧凑结构在查找、插入、更新上的性能会急剧恶化,这时候就必须换用真正的哈希表。
底层结构里我经常用一个“衣柜”类比:你的衣柜外观是一个统一设计,但里面的格局根据衣服多少可以调整——衣服少的时候用一个简单的收纳袋,衣服多了换成有隔板的柜体。Redis的五种数据类型就是那套“统一外观”,底层编码就是“可切换的内部格局”。这个设计带来的直接好处是:对外接口稳定,对内可以根据数据规模动态切换,在内存占用和操作性能之间找一个动态平衡点。
1.2 五种类型与底层编码的对应总览
这里先把全貌摆出来,后面每个类型再逐个拆解。不同Redis版本之间编码命名和结构存在差异,我下面这张表基于 7.x 版本的命名,同时也标注了老版本中常见的名称,方便你对照。
| 数据类型 | 底层编码(7.x) | 底层编码(旧版本常见) | 触发和用途 |
|---|---|---|---|
| String | int / embstr / raw | int / embstr / raw | 数字用int,短字符串用embstr,长字符串用raw |
| Hash | listpack / hashtable | ziplist / hashtable | 小哈希用listpack,大哈希用hashtable |
| List | listpack / quicklist | ziplist / linkedlist / quicklist | 小列表用listpack,大列表用quicklist |
| Set | intset / hashtable | intset / hashtable | 全整数且量小时用intset,否则用hashtable |
| ZSet | listpack / skiplist | ziplist / skiplist | 小有序集合用listpack,大有序集合用跳表 |
查看一个key当前到底用了什么编码,别去翻配置文件瞎猜,直接两条命令:
返回值分别是 string、hash、list、set、zset,以及 int、embstr、raw、listpack、hashtable、intset、skiplist、quicklist 这类编码名。这两条命令是排查一切内存和性能问题的第一把钥匙。
2. String字符串:最简单的类型藏着3种长相
2.1 int、embstr、raw三种编码的触发条件
String是Redis里使用频率最高的类型,也是底层结构最容易被人忽略的类型。它底层有三种编码,不同编码在内存分配、读写性能、修改方式上的差异非常大。
第一种是int编码。当你执行SET key 10086,Redis会检查这个字符串能否被解析成整型,能解析且长度不超过20位(实际是受long类型范围约束),就直接以整数形式存储在redisObject的ptr字段里。这时候连SDS(简单动态字符串)都不创建,省掉了一整个字符串对象的结构体开销。对一个纯数字场景,比如计数器、库存、验证码,这个细节能让单key内存占用直接缩减小一半以上。
第二种是embstr编码。Redis 3.0之后引入的优化方案,专门针对短字符串。它把redisObject和sdshdr(SDS头部)分配在同一块连续内存里,一次内存分配搞定两个结构体。因为内存连续,CPU缓存的命中率也更高。
第三种是raw编码。字符串长度一旦超过阈值,Redis干脆不再费劲做“嵌入式”优化,老老实实分成两次内存分配:一次给redisObject,一次给SDS结构。两者不再连续,但可以存放更长的内容。
你可能会问:这个阈值到底是多少?这就是下面要单独展开的重点。
2.2 为什么是44字节:一次内存分配的计算逻辑
网上很多文章告诉你“短字符串用embstr,超过44字节用raw”,但没说这个44到底怎么来的。我当时第一次看到这个数字,也是一脸懵。后来去翻了源码和jemalloc的内存分配规则才算彻底通了。
核心思路是这样:Redis默认使用jemalloc内存分配器,jemalloc在64位系统下默认按64字节为单位分配小内存块。一个redisObject结构体固定占用16字节,包含type、encoding、lru、refcount、ptr这些字段。一个embstr编码的SDS头部(sdshdr8)占用3字节,字符串末尾还需要一个'\0'字符占1字节。
于是可以算出来:
也就是说,embstr编码最多能放44字节的字符串内容。一旦超过44字节,就需要raw编码单独分配SDS空间。这个计算过程中每一个数字都有实际含义,也是Redis面试里非常经典的“连环问”素材。实际验证起来也直观,你用OBJECT ENCODING分别查看一个44字节字符串和一个45字节字符串,编码立刻从embstr变成raw。
2.3 实操观察编码切换
直接上redis-cli看效果:
一个需要注意的细节是:embstr编码的字符串一旦执行修改命令(比如APPEND),Redis会立刻把它转成raw编码。因为embstr是不可修改的,设计上只读,修改就意味着必须重新分配内存。这在业务上有实际影响:对一个短字符串高频执行APPEND,会带来频繁的内存重分配开销。我见过有同学把APPEND当SET用,结果单个连接的操作耗时从微秒级涨到毫秒级,排查半天才发现是这个原因。
实操心得:计数器、分布式ID、验证码这类纯数字场景,直接存整数,让Redis用int编码;短小且不常变化的字符串,保证字节数在44以内,白嫖embstr的紧凑内存优势;长文本、JSON序列化结果、base64字符串,别抱侥幸心理,raw编码用就用了,但要注意大key风险。
3. Hash哈希:从紧凑列表到大字典的晋级之路
3.1 小哈希的紧凑结构:ziplist与listpack
Hash类型在Redis里最典型的业务场景是存储对象属性,比如用户信息:HSET user:1001 name "tom" age 18 city "beijing"。
当这个Hash的字段数量很少、每个字段的value也很小的时候,Redis不会直接用哈希表,而是用一个紧凑的线性结构把数据存起来。老版本里叫ziplist(压缩列表),7.0之后换成了listpack。两者核心思路都一样:把所有键值对按顺序存进一块连续的内存块中,每个条目记录自己的长度和前一个条目的长度,用长度信息来支持正向和反向遍历。
这个结构的优点就是极省内存。字段数少的时候,哈希表每个bucket的指针开销省下来是相当可观的,小对象密集存储时差距能到10倍以上。缺点也明显:数据量上去之后,在紧凑列表里查找一个指定字段,最坏情况要遍历整块区域,复杂度是O(n)。所以Redis设定了一个升级阈值,跨过这个阈值就切换到真正的哈希表。
3.2 大哈希的完整形态:hashtable和渐进式rehash
当Hash的字段数或字段值长度超过限定阈值,Redis会把底层结构换成hashtable,也就是真正的字典结构。这里的dict有两个核心部分:一个ht[0]用来存数据,一个ht[1]用来在扩容时做临时搬迁。这就引出了Redis里非常经典的渐进式rehash机制。
哈希表在数据量增长到接近负载因子上限时,需要扩容。如果不做渐进式处理,一次性rehash几百万个元素,服务会卡死几百毫秒甚至更久。Redis的处理方式是:扩容时先给ht[1]分配好空间,然后每次对哈希表的增删改查操作,顺带把ht[0]里的一个bucket迁移到ht[1],这就是“渐进式”的含义。迁移期间,新写入的数据直接进ht[1],读的时候先查ht[0]、查不到再去ht[1]。整个过程用户无感知,但CPU的毛刺被抹平了。
这个机制带来的直接经验教训是:一次性向一个空Hash写入海量字段,触发rehash是必然的,但渐进式rehash不会造成长时间阻塞,你观察到的现象是写入耗时小幅抖动。如果抖动非常剧烈,往往不是rehash本身,而是大key导致的单次操作耗时增长。
3.3 阈值配置和实际业务影响
老版本中控制ziplist转hashtable的配置项是这样的:
意思是:字段数不超过512,且每个字段的key和value长度不超过64字节,才会使用紧凑结构。7.0之后ziplist被listpack替代,配置项名字变成了hash-max-listpack-entries和hash-max-listpack-value,作用逻辑一样。
我在生产环境里踩过的一个典型坑是:把Redis当成对象存储用,一个Hash里塞了几万个字段,每个字段都是一个几百字节的JSON片段。表面看着一个key管理一个对象很爽,实际上这个Hash在底层是hashtable,几十MB的数据全部压在单个key上,任何一次HGETALL都可能把网络带宽打满,任何一个字段的更新都要背负整个key的序列化和网络传输成本。这已经不是底层结构的问题,而是key粒度设计的问题。
注意事项:Hash适合存储字段有限、value较小的对象。如果单个对象的字段可能超过1000个,或者value普遍大于1KB,建议拆分为多个小key,或者拆分到其他存储方案。字段数量控制在500以内、单个value控制在几十字节以内,可以一直享受listpack的紧凑内存红利。
4. List列表:从双端链表到quicklist的进化史
4.1 为何不直接用普通双端链表
List类型的应用场景非常广:消息队列、时间线、最近浏览记录、阻塞队列等。早期Redis版本里,小列表直接用ziplist存储,大列表使用linkedlist(双向链表)。后来发现双向链表有一个明显的问题:每个节点都要维护pre、next两个指针,64位系统下每个节点光指针就要16字节,再加上节点内存的分配开销,存储大量小对象时内存浪费严重。
所以Redis 3.2引入了quicklist,它的思路很巧妙:外层是双向链表,但每个链表节点内部存储的不是一个元素,而是一个ziplist压缩块。这样一来,链表的节点数量大幅减少,每个节点内部又是一块紧凑连续内存。既保留了链表在头尾插入时的高效,又吸收了压缩列表节省内存的优点。
4.2 quicklist的压缩机制和参数选择
quicklist有两个关键配置项,理解透了你在实际配置时心里才有底:
早期版本里对应的是list-max-ziplist-size,7.0之后命名改为listpack。list-max-listpack-size控制的是每个链表节点内部的listpack最多存多少元素。它可以是固定数值,比如512,表示单个节点内存512个元素;也可以是负数,表示按节点大小限制,比如-1表示4KB、-2表示8KB。默认-2,也就是每个节点内部listpack达到8KB就新建一个链表节点。
list-compress-depth控制的是头尾两端的节点不压缩,中间节点做LZF压缩。默认0表示都不压缩。我建议做时间线、消息队列这类“只从两端读写”的场景时,把它设置成1或2,也就是两端各保留1个或2个不被压缩的节点,中间的节点全部压缩。这个配置能直接砍掉一大部分内存占用,同时因为业务访问集中在头部和尾部,解压带来的额外CPU开销几乎可以忽略。
Redis 7.0之后,listpack也直接取代了quicklist内部节点的ziplist,并且在小列表场景下可以直接使用listpack作为唯一编码,不再套双向链表的外壳。本质上都是围绕“链表+紧凑内存”的组合在做优化。
4.3 List实操要点
用List做消息队列是非常常见的用法:LPUSH往左写,BRPOP从右侧阻塞读取,天然形成一个先进先出的队列。但在生产环境里我有两个建议。
第一,队列数据积压过多时,单个key会变成一个超大key。如果生产者速度快于消费者速度,list里堆积几十万条消息很正常,此时LLEN执行没问题,但涉及列表全量操作的命令,比如LRANGE 0 -1,极有可能引发慢查询和网络拥堵。排查这类问题时,OBJECT ENCODING会显示quicklist,配合DEBUG OBJECT key查看序列化长度,能快速判断是不是大key。
第二,不要把List当成万能存储。有些场景下,业务方把List当成了数据库表来用,往里塞了几十万条历史记录,访问模式还是随机按下标查中间元素。这完全违背了List类型擅长头尾操作的设计初衷,查询中间元素时整个quicklist要把前面的节点全部跳过,性能完全失控。
实操心得:如果业务是“先进先出的消息管道”,用LPUSH+BRPOP组合,压测时注意消费端堆积;如果业务是“时间线/Feed流”,用LPUSH存新数据、LRANGE只取前几十条,并且定期用LTRIM裁剪过期数据;如果底层看到linkedlist,说明你的Redis版本已经太老了,尽快考虑升级。
5. Set集合与ZSet有序集合:两兄弟的底层逻辑
5.1 Set的intset整数集合和hashtable
Set类型的特点是去重和集合运算。它的底层有两种编码:intset和hashtable。
当Set里面所有元素都是整数,且元素数量不超过配置阈值(默认512)时,Redis用intset存储。intset本质上是一个有序的整数数组,所有整数从小到大严格排列。因为有序,查找元素可以用二分查找,插入元素时做一次移位插入,效率是O(log n)级别,额外内存开销极小。
一旦元素不是整数(比如字符串),或者元素数量超过512,intset就会升级为hashtable。此时哈希表的key存的是元素本身,value统一为NULL。这个设计很巧妙,直接把Set的“去重”需求用哈希表天然满足:插入时用哈希判断是否存在,存在就忽略,不存在就写入。
注意intset是有序数组,所以SMEMBERS返回的元素顺序是升序的。这个看似不起眼的特性,在一些极端的业务逻辑里会被依赖,但SMEMBERS本身的时间复杂度是O(n),对大数据量Set执行时要谨慎,换成SSCAN游标遍历更安全。
5.2 ZSet为什么选择“跳表+哈希表”组合方案
ZSet是Redis里数据结构设计最精巧的一个,底层由skiplist(跳表)和dict(哈希表)组合实现。我第一次看到这个设计时也觉得奇怪:为什么一个有序集合要用两种结构?直接一种不可行吗?
答案是:单独任何一种结构都无法同时满足所有操作的高效性。ZSet的操作主要有这几类:按member查score(ZSCORE)、按排名范围取值(ZRANGE)、按score范围取值(ZRANGEBYSCORE)、按member更新score。如果只用跳表,按member查score需要先在跳表里找到节点,复杂度是O(log n),但跳表节点里存的是member和score的映射,查找过程没问题;问题是跳表遍历起来比较麻烦,按member直接定位的效率不如哈希表。如果只用哈希表,按score做范围查询就彻底抓瞎了,因为哈希表是无序的。
所以Redis选择让dict负责“按member查score”的O(1)操作,让skiplist负责“按score排序和范围查询”的O(log n)操作。两者各干各的,协作得非常好。
5.3 跳表结构精讲:为什么是它而不是红黑树
跳表的核心思想是:给有序链表增加多级索引,每向上走一层,节点数量减少一半左右,查找时从最高层开始快速跳跃,逐步逼近目标区间。最底层是一个完整的有序链表,上面的每一层都是下一层的“快速通道”。
插入节点时,跳表通过随机数决定这个节点占据多少层。每一层以1/2的概率向上延伸(实际是一个概率函数,引入多级索引平均层数约为2)。查询过程走的是“从顶层向右,向下”的路径,平均复杂度为O(log n)。用代码表示一下跳表节点的简化结构:
面试时经常被追问:为什么用跳表不用红黑树?给出的标准答案有几个维度。跳表实现比红黑树简单得多,红黑树的插入、删除、旋转操作极容易写错,跳表的插入删除只涉及相邻节点指针修改和随机层数。跳表支持高效的区间查询,红黑树做区间查询需要中序遍历,复杂度差一截。跳表的层数随机分布,平均性能稳定,红黑树极端情况下需要多轮旋转。跳表调试起来更直观,可视化后就是一层层的链表,出现问题很容易定位。在ZSet场景下跳表的查询性能和红黑树在同一数量级,但实现和维护成本低得多,所以Redis选择跳表。
ZSet的紧凑阶段同样用listpack存储,配置项是zset-max-listpack-entries 128和zset-max-listpack-value 64。当元素数量超过128,或者元素长度超过64字节,listpack就转为skiplist+dict。
6. 底层结构核心原理:三个关键词讲清内存与性能
6.1 紧凑内存:把数据“打包”进连续块
Redis底层结构设计的一号关键词是“紧凑内存”。ziplist、listpack、intset、quicklist里的节点,本质上都是想办法把数据塞进连续内存块,用长度前缀和偏移量来代替指针。传统链表每个节点之间靠指针连接,节点分布在内存各处,CPU缓存的命中率很低;紧凑结构把数据密集排列在一起,遍历时内存预读效率高,同样的数据量占用空间小得多。这就是为什么小对象场景下Redis内存占用比其他基于哈希表的缓存系统低一个数量级。
一个简单的对比:一个包含100个整数的Set,如果用hashtable存储,光100个bucket的指针数组就要800字节,再加上每个entry的结构体开销和内存碎片,整体轻松破2KB。而intset只需要400字节左右连续内存。这个差距在小对象海量存储时就是几十倍的内存成本差异。
6.2 索引结构:跳表与哈希表的选型逻辑
底层结构的二号关键词是“索引结构选型”。Redis里有三种基本的索引思路:哈希表适合精确匹配(O(1)),跳表适合范围查询和有序遍历(O(log n)),数组/紧凑列表适合小数据量顺序访问。一个数据类型往往先从小规模的紧凑结构开始,数据量增长后切换成哈希表或跳表。这个设计模式的本质是:根据数据规模动态选择最优的数据组织方式。
业务侧得到的启示是:如果你预判一个key的数据量不会增长到很大,那不用关心底层转换;如果你预判一个key会膨胀到百万级,就一定要从一开始就规划key拆分或分片策略,否则底层结构升级之后,单个key上的操作耗时和网络开销会双重重压。
6.3 Rehash与扩容:查询性能的真实杀手
底层结构的三号关键词是“扩容与Rehash”。哈希表在扩容时采用渐进式rehash,均匀分摊CPU开销。但分摊不等于消除,rehash期间每个操作都会额外做一次搬迁判断,整体吞吐会有一定下降。如果业务在扩容窗口恰好遇到流量高峰,你看到的性能曲线会有一个明显的“小坑”,本质上就是rehash在幕后干活。
跳表在插入时依赖随机化维护平衡,不需要像平衡树那样做严格的旋转调平。所以大ZSet的写入性能对Redis来说非常友好,但对业务来说,写一个百万级元素的ZSet,排行榜这种典型场景下,每个新元素的插入都涉及到多层链表的指针修改,写入耗时仍然比String高一个数量级。这是数据结构的固有成本,无法通过参数调优根治。
7. 实战:一把梭排查Redis内存和性能问题
7.1 快速查看类型、编码和内存占用的命令组合
排查一个Redis实例的内存黑洞,最常用的命令组合是这三条。
DEBUG OBJECT会返回serializedlength字段,表示这个key序列化后的长度。这个值可以快速判断是否存在大key。结合MEMORY USAGE(实际内存占用,比serializedlength更准确)一起看,能估算出这个key的真实内存成本。在Redis Desktop Manager或者Another Redis Desktop Manager这类可视化客户端里,这些信息也会以表格形式展示,但底层仍然是直接调用这些命令。
7.2 大key与热点key的底层结构特征
大key在底层结构上有一个共性:底层编码一定是raw、hashtable、quicklist(但已经是多层listpack)、skiplist这类“完整形态”,而不会是embstr、intset、listpack之类的紧凑形态。如果你扫描出一个key虽然编码是listpack,但MEMORY USAGE已经好几MB,说明这个listpack本身已经很长了,操作它的成本依然很高——紧凑结构只解决“内存紧凑”问题,不解决“数据量大”问题。
热点key的排查则要从访问模式入手:底层是skiplist和hashtable的key在超高并发读写下,锁竞争和CPU消耗都集中在单个节点上。Redis单线程的事件模型意味着一个慢操作会阻塞后续所有请求,所以识别出“高耗时命令+大key”的组合是治理缓存问题的核心。
7.3 生产环境配置检查清单
下面这张清单是我在几个生产项目里沉淀下来的配置检查项,不是标准答案,但可以作为你审视自己环境时的参考起点。
| 配置项 | 建议值 | 说明 |
|---|---|---|
| hash-max-listpack-entries | 256~512 | 字段过多会导致编码升级为hashtable,内存增长明显 |
| hash-max-listpack-value | 64~128 | 大value直接触发编码升级,同时放大内存开销 |
| set-max-intset-entries | 512 | 超过后转为hashtable,注意整数集合的内存优势消失 |
| zset-max-listpack-entries | 128 | 排行榜、延时队列等ZSet场景注意监控元素量 |
| list-max-listpack-size | -2 | 8KB一个节点,兼顾读写性能和内存利用率 |
| list-compress-depth | 1~2 | 顺序访问类List压掉中间节点,内存收益显著 |
监控工具方面,redis-cli --bigkeys是最快的扫描大key手段,redis-cli --stat可以实时看请求和内存变化。这些命令本身不会阻塞线上服务,但在大实例上执行时建议挂载到低峰期跑。
8. 常见问题与面试题速查
8.1 面试高频题Q&A
我把这几年后端面试里围绕Redis底层结构的高频问题整理一下,答案按我实际理解的深度写出来。
Q1:为什么ZSet用跳表不用红黑树?
因为跳表实现简单、支持高效的范围查询、并发调试也更直观。性能上和红黑树同阶,但工程成本低得多,还天然适配ZSet按score区间查人的场景。
Q2:embstr和raw的区别是什么?为什么阈值是44字节?
embstr把redisObject和SDS头部放在同一块连续内存,一次分配;raw分开分配,两次分配。阈值44来自64 - 16 - 3 - 1的计算,分别对应jemalloc分配单位、redisObject大小、sdshdr8头部、字符串结尾符。
Q3:ziplist存在什么问题?listpack是怎么解决的?
ziplist节点中记录了前一个节点的长度,如果前一个节点长度变化(比如修改内容后变长),会触发连锁更新,极端情况下导致O(n)次的内存搬移。listpack改为每个节点只记录自身长度,不再依赖前一个节点的信息,彻底消除了连锁更新问题,同时保持紧凑内存的优势。
Q4:什么是渐进式rehash?
哈希表扩容时,把一次性搬迁拆成每次操作顺带搬迁一个bucket,分摊CPU开销,避免大字典扩容时阻塞服务。但代价是rehash期间的时间复杂度会略高,因为查找时需要同时查两个表。
Q5:一个Hash超过512个字段会怎样?
底层编码从listpack转为hashtable,内存占用上升,但因为哈希表是O(1)查找,字段增多时单次操作性能依然可控。真正的风险不是编码切换,而是单个大key带慢查询和网络传输问题。
8.2 踩坑实录与避坑技巧
第一坑是连锁更新的性能退化。我有一次压测时发现在ziplist编码的Hash里连续写入长字符串字段,写入耗时从0.01ms涨到0.8ms,排查后定位到是因为频繁触发连锁更新,每个节点长度变化都引发后续节点内存搬移。升级Redis到7.0之后换用listpack,问题彻底消失。如果你的环境还在6.x以下,遇到类似写入耗时抖动,要第一时间怀疑这个。
第二坑是List类型当数据库表用。有个业务用List存日志流水,单key几百MB,导致Redis主从同步时不断触发换页和磁盘IO,从节点频繁断线。当时OBJECT ENCODING看到的是quicklist,整个key在内存中跨了几千个节点,任何一次LRANGE全量操作都让主线程卡顿。最后只能让业务改成按天拆key,每天独立key,用crontab定期清理,才算解决。
第三坑是SETEX一个超大对象。序列化后的JSON有200多KB,String类型直接raw编码,fine,问题是这个key的写入频率还很高,每秒几十次全量覆盖。内存碎片率一度涨到2.3,被迫每隔几天重启一次实例。后来改用Hash按字段存储,listpack编码下内存占用下降60%以上,碎片问题也自然缓解。这就是底层结构直接影响运维成本的一个真实案例。
最后再分享一个实用技巧:排查任何Redis问题时,不要光看INFO memory的used_memory就去下结论,先把OBJECT ENCODING配上MEMORY USAGE刷一遍,确认目标key的真实编码状态。我自己的习惯是做一次全量扫描,把大key和编码异常(比如本该是intset的Set变成了hashtable)的key全部列出来,再针对性做拆分或过期策略调整。你在生产环境里把这套流程跑通一遍,对Redis底层结构的理解会比我写多少字都管用。