Redis底层结构全解析:五大类型编码原理与性能优化实践

Redis底层结构数据类型
于 2026-10-29 05:13:34 修改
·本内容遵循CC 4.0 BY-SA版权协议

先抛一个我常拿来当“试金石”的问题:Redis的String类型,存一个“42”和存一个“hello”,底层用的是同一种结构吗?再追问一层:ZSet为什么非要用跳表,而不是红黑树?如果你第一反应是要翻源码,那这篇算是写对了人。

Redis的数据类型和底层结构,是所有做后端、做缓存治理、甚至准备面试的人绕不过去的一块硬骨头。网上讲“五大数据类型怎么用”的文章满地都是,但真正把底层结构讲透、讲明白“为什么这么设计”的并不多。这篇文章我用实操视角把String、Hash、List、Set、ZSet五种常见类型的底层编码方式、转换阈值、内存逻辑、性能坑位全部拆一遍,顺便把生产环境排查时怎么用命令观察底层结构、怎么通过底层结构反推性能问题的方法也一并给出来。

1. 先理清一个概念:数据类型是外表,底层编码是心

1.1 Redis为什么要搞“两层设计”

很多刚接触Redis的人会有一个疑问:一共就五种数据类型,直接一种类型对应一种存储结构不就行了,为什么非要底层再套一层“编码”?

原因其实很现实:内存和性能之间需要做取舍。同一个Hash对象,里面只存3个键值对的时候,如果直接给它分配一个完整的哈希表,光指针数组就占掉一大块内存。这时候用一块连续、紧凑的内存把数据按顺序塞进去,既省内存又省分配时间。但当这个Hash膨胀到一万个键值对的时候,连续的紧凑结构在查找、插入、更新上的性能会急剧恶化,这时候就必须换用真正的哈希表。

底层结构里我经常用一个“衣柜”类比:你的衣柜外观是一个统一设计,但里面的格局根据衣服多少可以调整——衣服少的时候用一个简单的收纳袋,衣服多了换成有隔板的柜体。Redis的五种数据类型就是那套“统一外观”,底层编码就是“可切换的内部格局”。这个设计带来的直接好处是:对外接口稳定,对内可以根据数据规模动态切换,在内存占用和操作性能之间找一个动态平衡点。

1.2 五种类型与底层编码的对应总览

这里先把全貌摆出来,后面每个类型再逐个拆解。不同Redis版本之间编码命名和结构存在差异,我下面这张表基于 7.x 版本的命名,同时也标注了老版本中常见的名称,方便你对照。

数据类型 底层编码(7.x) 底层编码(旧版本常见) 触发和用途
String int / embstr / raw int / embstr / raw 数字用int,短字符串用embstr,长字符串用raw
Hash listpack / hashtable ziplist / hashtable 小哈希用listpack,大哈希用hashtable
List listpack / quicklist ziplist / linkedlist / quicklist 小列表用listpack,大列表用quicklist
Set intset / hashtable intset / hashtable 全整数且量小时用intset,否则用hashtable
ZSet listpack / skiplist ziplist / skiplist 小有序集合用listpack,大有序集合用跳表

查看一个key当前到底用了什么编码,别去翻配置文件瞎猜,直接两条命令:

BASH
# 查看类型
TYPE user:1001
 
# 查看底层编码
OBJECT ENCODING user:1001

返回值分别是 string、hash、list、set、zset,以及 int、embstr、raw、listpack、hashtable、intset、skiplist、quicklist 这类编码名。这两条命令是排查一切内存和性能问题的第一把钥匙。

2. String字符串:最简单的类型藏着3种长相

2.1 int、embstr、raw三种编码的触发条件

String是Redis里使用频率最高的类型,也是底层结构最容易被人忽略的类型。它底层有三种编码,不同编码在内存分配、读写性能、修改方式上的差异非常大。

第一种是int编码。当你执行SET key 10086,Redis会检查这个字符串能否被解析成整型,能解析且长度不超过20位(实际是受long类型范围约束),就直接以整数形式存储在redisObject的ptr字段里。这时候连SDS(简单动态字符串)都不创建,省掉了一整个字符串对象的结构体开销。对一个纯数字场景,比如计数器、库存、验证码,这个细节能让单key内存占用直接缩减小一半以上。

第二种是embstr编码。Redis 3.0之后引入的优化方案,专门针对短字符串。它把redisObject和sdshdr(SDS头部)分配在同一块连续内存里,一次内存分配搞定两个结构体。因为内存连续,CPU缓存的命中率也更高。

第三种是raw编码。字符串长度一旦超过阈值,Redis干脆不再费劲做“嵌入式”优化,老老实实分成两次内存分配:一次给redisObject,一次给SDS结构。两者不再连续,但可以存放更长的内容。

你可能会问:这个阈值到底是多少?这就是下面要单独展开的重点。

2.2 为什么是44字节:一次内存分配的计算逻辑

网上很多文章告诉你“短字符串用embstr,超过44字节用raw”,但没说这个44到底怎么来的。我当时第一次看到这个数字,也是一脸懵。后来去翻了源码和jemalloc的内存分配规则才算彻底通了。

核心思路是这样:Redis默认使用jemalloc内存分配器,jemalloc在64位系统下默认按64字节为单位分配小内存块。一个redisObject结构体固定占用16字节,包含type、encoding、lru、refcount、ptr这些字段。一个embstr编码的SDS头部(sdshdr8)占用3字节,字符串末尾还需要一个'\0'字符占1字节。

于是可以算出来:

TEXT
64(jemalloc分配单位) - 16(redisObject) - 3(sdshdr8头部) - 1(结尾'\0') = 44字节

也就是说,embstr编码最多能放44字节的字符串内容。一旦超过44字节,就需要raw编码单独分配SDS空间。这个计算过程中每一个数字都有实际含义,也是Redis面试里非常经典的“连环问”素材。实际验证起来也直观,你用OBJECT ENCODING分别查看一个44字节字符串和一个45字节字符串,编码立刻从embstr变成raw。

2.3 实操观察编码切换

直接上redis-cli看效果:

BASH
127.0.0.1:6379> SET num 12345
OK
127.0.0.1:6379> OBJECT ENCODING num
"int"
 
127.0.0.1:6379> SET short_str "hello"
OK
127.0.0.1:6379> OBJECT ENCODING short_str
"embstr"
 
127.0.0.1:6379> SET long_str "hello, this is a long string over 44 bytes"
OK
127.0.0.1:6379> OBJECT ENCODING long_str
"raw"

一个需要注意的细节是:embstr编码的字符串一旦执行修改命令(比如APPEND),Redis会立刻把它转成raw编码。因为embstr是不可修改的,设计上只读,修改就意味着必须重新分配内存。这在业务上有实际影响:对一个短字符串高频执行APPEND,会带来频繁的内存重分配开销。我见过有同学把APPEND当SET用,结果单个连接的操作耗时从微秒级涨到毫秒级,排查半天才发现是这个原因。

实操心得:计数器、分布式ID、验证码这类纯数字场景,直接存整数,让Redis用int编码;短小且不常变化的字符串,保证字节数在44以内,白嫖embstr的紧凑内存优势;长文本、JSON序列化结果、base64字符串,别抱侥幸心理,raw编码用就用了,但要注意大key风险。

3. Hash哈希:从紧凑列表到大字典的晋级之路

3.1 小哈希的紧凑结构:ziplist与listpack

Hash类型在Redis里最典型的业务场景是存储对象属性,比如用户信息:HSET user:1001 name "tom" age 18 city "beijing"。

当这个Hash的字段数量很少、每个字段的value也很小的时候,Redis不会直接用哈希表,而是用一个紧凑的线性结构把数据存起来。老版本里叫ziplist(压缩列表),7.0之后换成了listpack。两者核心思路都一样:把所有键值对按顺序存进一块连续的内存块中,每个条目记录自己的长度和前一个条目的长度,用长度信息来支持正向和反向遍历。

这个结构的优点就是极省内存。字段数少的时候,哈希表每个bucket的指针开销省下来是相当可观的,小对象密集存储时差距能到10倍以上。缺点也明显:数据量上去之后,在紧凑列表里查找一个指定字段,最坏情况要遍历整块区域,复杂度是O(n)。所以Redis设定了一个升级阈值,跨过这个阈值就切换到真正的哈希表。

3.2 大哈希的完整形态:hashtable和渐进式rehash

当Hash的字段数或字段值长度超过限定阈值,Redis会把底层结构换成hashtable,也就是真正的字典结构。这里的dict有两个核心部分:一个ht[0]用来存数据,一个ht[1]用来在扩容时做临时搬迁。这就引出了Redis里非常经典的渐进式rehash机制。

哈希表在数据量增长到接近负载因子上限时,需要扩容。如果不做渐进式处理,一次性rehash几百万个元素,服务会卡死几百毫秒甚至更久。Redis的处理方式是:扩容时先给ht[1]分配好空间,然后每次对哈希表的增删改查操作,顺带把ht[0]里的一个bucket迁移到ht[1],这就是“渐进式”的含义。迁移期间,新写入的数据直接进ht[1],读的时候先查ht[0]、查不到再去ht[1]。整个过程用户无感知,但CPU的毛刺被抹平了。

这个机制带来的直接经验教训是:一次性向一个空Hash写入海量字段,触发rehash是必然的,但渐进式rehash不会造成长时间阻塞,你观察到的现象是写入耗时小幅抖动。如果抖动非常剧烈,往往不是rehash本身,而是大key导致的单次操作耗时增长。

3.3 阈值配置和实际业务影响

老版本中控制ziplist转hashtable的配置项是这样的:

CONF
hash-max-ziplist-entries 512
hash-max-ziplist-value 64

意思是:字段数不超过512,且每个字段的key和value长度不超过64字节,才会使用紧凑结构。7.0之后ziplist被listpack替代,配置项名字变成了hash-max-listpack-entries和hash-max-listpack-value,作用逻辑一样。

我在生产环境里踩过的一个典型坑是:把Redis当成对象存储用,一个Hash里塞了几万个字段,每个字段都是一个几百字节的JSON片段。表面看着一个key管理一个对象很爽,实际上这个Hash在底层是hashtable,几十MB的数据全部压在单个key上,任何一次HGETALL都可能把网络带宽打满,任何一个字段的更新都要背负整个key的序列化和网络传输成本。这已经不是底层结构的问题,而是key粒度设计的问题。

注意事项:Hash适合存储字段有限、value较小的对象。如果单个对象的字段可能超过1000个,或者value普遍大于1KB,建议拆分为多个小key,或者拆分到其他存储方案。字段数量控制在500以内、单个value控制在几十字节以内,可以一直享受listpack的紧凑内存红利。

4. List列表:从双端链表到quicklist的进化史

4.1 为何不直接用普通双端链表

List类型的应用场景非常广:消息队列、时间线、最近浏览记录、阻塞队列等。早期Redis版本里,小列表直接用ziplist存储,大列表使用linkedlist(双向链表)。后来发现双向链表有一个明显的问题:每个节点都要维护pre、next两个指针,64位系统下每个节点光指针就要16字节,再加上节点内存的分配开销,存储大量小对象时内存浪费严重。

所以Redis 3.2引入了quicklist,它的思路很巧妙:外层是双向链表,但每个链表节点内部存储的不是一个元素,而是一个ziplist压缩块。这样一来,链表的节点数量大幅减少,每个节点内部又是一块紧凑连续内存。既保留了链表在头尾插入时的高效,又吸收了压缩列表节省内存的优点。

4.2 quicklist的压缩机制和参数选择

quicklist有两个关键配置项,理解透了你在实际配置时心里才有底:

CONF
list-max-listpack-size -2
list-compress-depth 0

早期版本里对应的是list-max-ziplist-size,7.0之后命名改为listpack。list-max-listpack-size控制的是每个链表节点内部的listpack最多存多少元素。它可以是固定数值,比如512,表示单个节点内存512个元素;也可以是负数,表示按节点大小限制,比如-1表示4KB、-2表示8KB。默认-2,也就是每个节点内部listpack达到8KB就新建一个链表节点。

list-compress-depth控制的是头尾两端的节点不压缩,中间节点做LZF压缩。默认0表示都不压缩。我建议做时间线、消息队列这类“只从两端读写”的场景时,把它设置成1或2,也就是两端各保留1个或2个不被压缩的节点,中间的节点全部压缩。这个配置能直接砍掉一大部分内存占用,同时因为业务访问集中在头部和尾部,解压带来的额外CPU开销几乎可以忽略。

Redis 7.0之后,listpack也直接取代了quicklist内部节点的ziplist,并且在小列表场景下可以直接使用listpack作为唯一编码,不再套双向链表的外壳。本质上都是围绕“链表+紧凑内存”的组合在做优化。

4.3 List实操要点

用List做消息队列是非常常见的用法:LPUSH往左写,BRPOP从右侧阻塞读取,天然形成一个先进先出的队列。但在生产环境里我有两个建议。

第一,队列数据积压过多时,单个key会变成一个超大key。如果生产者速度快于消费者速度,list里堆积几十万条消息很正常,此时LLEN执行没问题,但涉及列表全量操作的命令,比如LRANGE 0 -1,极有可能引发慢查询和网络拥堵。排查这类问题时,OBJECT ENCODING会显示quicklist,配合DEBUG OBJECT key查看序列化长度,能快速判断是不是大key。

第二,不要把List当成万能存储。有些场景下,业务方把List当成了数据库表来用,往里塞了几十万条历史记录,访问模式还是随机按下标查中间元素。这完全违背了List类型擅长头尾操作的设计初衷,查询中间元素时整个quicklist要把前面的节点全部跳过,性能完全失控。

实操心得:如果业务是“先进先出的消息管道”,用LPUSH+BRPOP组合,压测时注意消费端堆积;如果业务是“时间线/Feed流”,用LPUSH存新数据、LRANGE只取前几十条,并且定期用LTRIM裁剪过期数据;如果底层看到linkedlist,说明你的Redis版本已经太老了,尽快考虑升级。

5. Set集合与ZSet有序集合:两兄弟的底层逻辑

5.1 Set的intset整数集合和hashtable

Set类型的特点是去重和集合运算。它的底层有两种编码:intset和hashtable。

当Set里面所有元素都是整数,且元素数量不超过配置阈值(默认512)时,Redis用intset存储。intset本质上是一个有序的整数数组,所有整数从小到大严格排列。因为有序,查找元素可以用二分查找,插入元素时做一次移位插入,效率是O(log n)级别,额外内存开销极小。

一旦元素不是整数(比如字符串),或者元素数量超过512,intset就会升级为hashtable。此时哈希表的key存的是元素本身,value统一为NULL。这个设计很巧妙,直接把Set的“去重”需求用哈希表天然满足:插入时用哈希判断是否存在,存在就忽略,不存在就写入。

BASH
127.0.0.1:6379> SADD nums 3 1 2
(integer) 3
127.0.0.1:6379> OBJECT ENCODING nums
"intset"
 
127.0.0.1:6379> SADD strs "apple" "banana"
(integer) 2
127.0.0.1:6379> OBJECT ENCODING strs
"hashtable"

注意intset是有序数组,所以SMEMBERS返回的元素顺序是升序的。这个看似不起眼的特性,在一些极端的业务逻辑里会被依赖,但SMEMBERS本身的时间复杂度是O(n),对大数据量Set执行时要谨慎,换成SSCAN游标遍历更安全。

5.2 ZSet为什么选择“跳表+哈希表”组合方案

ZSet是Redis里数据结构设计最精巧的一个,底层由skiplist(跳表)和dict(哈希表)组合实现。我第一次看到这个设计时也觉得奇怪:为什么一个有序集合要用两种结构?直接一种不可行吗?

答案是:单独任何一种结构都无法同时满足所有操作的高效性。ZSet的操作主要有这几类:按member查score(ZSCORE)、按排名范围取值(ZRANGE)、按score范围取值(ZRANGEBYSCORE)、按member更新score。如果只用跳表,按member查score需要先在跳表里找到节点,复杂度是O(log n),但跳表节点里存的是member和score的映射,查找过程没问题;问题是跳表遍历起来比较麻烦,按member直接定位的效率不如哈希表。如果只用哈希表,按score做范围查询就彻底抓瞎了,因为哈希表是无序的。

所以Redis选择让dict负责“按member查score”的O(1)操作,让skiplist负责“按score排序和范围查询”的O(log n)操作。两者各干各的,协作得非常好。

5.3 跳表结构精讲:为什么是它而不是红黑树

跳表的核心思想是:给有序链表增加多级索引,每向上走一层,节点数量减少一半左右,查找时从最高层开始快速跳跃,逐步逼近目标区间。最底层是一个完整的有序链表,上面的每一层都是下一层的“快速通道”。

插入节点时,跳表通过随机数决定这个节点占据多少层。每一层以1/2的概率向上延伸(实际是一个概率函数,引入多级索引平均层数约为2)。查询过程走的是“从顶层向右,向下”的路径,平均复杂度为O(log n)。用代码表示一下跳表节点的简化结构:

C
typedef struct zskiplistNode {
sds ele; // 成员对象
double score; // 分值
struct zskiplistNode *backward; // 后退指针
struct zskiplistLevel {
struct zskiplistNode *forward; // 前进指针
unsigned long span; // 跨度
} level[];
} zskiplistNode;

面试时经常被追问:为什么用跳表不用红黑树?给出的标准答案有几个维度。跳表实现比红黑树简单得多,红黑树的插入、删除、旋转操作极容易写错,跳表的插入删除只涉及相邻节点指针修改和随机层数。跳表支持高效的区间查询,红黑树做区间查询需要中序遍历,复杂度差一截。跳表的层数随机分布,平均性能稳定,红黑树极端情况下需要多轮旋转。跳表调试起来更直观,可视化后就是一层层的链表,出现问题很容易定位。在ZSet场景下跳表的查询性能和红黑树在同一数量级,但实现和维护成本低得多,所以Redis选择跳表。

ZSet的紧凑阶段同样用listpack存储,配置项是zset-max-listpack-entries 128和zset-max-listpack-value 64。当元素数量超过128,或者元素长度超过64字节,listpack就转为skiplist+dict。

6. 底层结构核心原理:三个关键词讲清内存与性能

6.1 紧凑内存:把数据“打包”进连续块

Redis底层结构设计的一号关键词是“紧凑内存”。ziplist、listpack、intset、quicklist里的节点,本质上都是想办法把数据塞进连续内存块,用长度前缀和偏移量来代替指针。传统链表每个节点之间靠指针连接,节点分布在内存各处,CPU缓存的命中率很低;紧凑结构把数据密集排列在一起,遍历时内存预读效率高,同样的数据量占用空间小得多。这就是为什么小对象场景下Redis内存占用比其他基于哈希表的缓存系统低一个数量级。

一个简单的对比:一个包含100个整数的Set,如果用hashtable存储,光100个bucket的指针数组就要800字节,再加上每个entry的结构体开销和内存碎片,整体轻松破2KB。而intset只需要400字节左右连续内存。这个差距在小对象海量存储时就是几十倍的内存成本差异。

6.2 索引结构:跳表与哈希表的选型逻辑

底层结构的二号关键词是“索引结构选型”。Redis里有三种基本的索引思路:哈希表适合精确匹配(O(1)),跳表适合范围查询和有序遍历(O(log n)),数组/紧凑列表适合小数据量顺序访问。一个数据类型往往先从小规模的紧凑结构开始,数据量增长后切换成哈希表或跳表。这个设计模式的本质是:根据数据规模动态选择最优的数据组织方式。

业务侧得到的启示是:如果你预判一个key的数据量不会增长到很大,那不用关心底层转换;如果你预判一个key会膨胀到百万级,就一定要从一开始就规划key拆分或分片策略,否则底层结构升级之后,单个key上的操作耗时和网络开销会双重重压。

6.3 Rehash与扩容:查询性能的真实杀手

底层结构的三号关键词是“扩容与Rehash”。哈希表在扩容时采用渐进式rehash,均匀分摊CPU开销。但分摊不等于消除,rehash期间每个操作都会额外做一次搬迁判断,整体吞吐会有一定下降。如果业务在扩容窗口恰好遇到流量高峰,你看到的性能曲线会有一个明显的“小坑”,本质上就是rehash在幕后干活。

跳表在插入时依赖随机化维护平衡,不需要像平衡树那样做严格的旋转调平。所以大ZSet的写入性能对Redis来说非常友好,但对业务来说,写一个百万级元素的ZSet,排行榜这种典型场景下,每个新元素的插入都涉及到多层链表的指针修改,写入耗时仍然比String高一个数量级。这是数据结构的固有成本,无法通过参数调优根治。

7. 实战:一把梭排查Redis内存和性能问题

7.1 快速查看类型、编码和内存占用的命令组合

排查一个Redis实例的内存黑洞,最常用的命令组合是这三条。

BASH
# 查看key的底层编码
OBJECT ENCODING your_key
 
# 查看key的详细信息(长度、编码、内存占用等)
DEBUG OBJECT your_key
 
# 查看key的内存占用估算
MEMORY USAGE your_key

DEBUG OBJECT会返回serializedlength字段,表示这个key序列化后的长度。这个值可以快速判断是否存在大key。结合MEMORY USAGE(实际内存占用,比serializedlength更准确)一起看,能估算出这个key的真实内存成本。在Redis Desktop Manager或者Another Redis Desktop Manager这类可视化客户端里,这些信息也会以表格形式展示,但底层仍然是直接调用这些命令。

7.2 大key与热点key的底层结构特征

大key在底层结构上有一个共性:底层编码一定是raw、hashtable、quicklist(但已经是多层listpack)、skiplist这类“完整形态”,而不会是embstr、intset、listpack之类的紧凑形态。如果你扫描出一个key虽然编码是listpack,但MEMORY USAGE已经好几MB,说明这个listpack本身已经很长了,操作它的成本依然很高——紧凑结构只解决“内存紧凑”问题,不解决“数据量大”问题。

热点key的排查则要从访问模式入手:底层是skiplist和hashtable的key在超高并发读写下,锁竞争和CPU消耗都集中在单个节点上。Redis单线程的事件模型意味着一个慢操作会阻塞后续所有请求,所以识别出“高耗时命令+大key”的组合是治理缓存问题的核心。

7.3 生产环境配置检查清单

下面这张清单是我在几个生产项目里沉淀下来的配置检查项,不是标准答案,但可以作为你审视自己环境时的参考起点。

配置项 建议值 说明
hash-max-listpack-entries 256~512 字段过多会导致编码升级为hashtable,内存增长明显
hash-max-listpack-value 64~128 大value直接触发编码升级,同时放大内存开销
set-max-intset-entries 512 超过后转为hashtable,注意整数集合的内存优势消失
zset-max-listpack-entries 128 排行榜、延时队列等ZSet场景注意监控元素量
list-max-listpack-size -2 8KB一个节点,兼顾读写性能和内存利用率
list-compress-depth 1~2 顺序访问类List压掉中间节点,内存收益显著

监控工具方面,redis-cli --bigkeys是最快的扫描大key手段,redis-cli --stat可以实时看请求和内存变化。这些命令本身不会阻塞线上服务,但在大实例上执行时建议挂载到低峰期跑。

8. 常见问题与面试题速查

8.1 面试高频题Q&A

我把这几年后端面试里围绕Redis底层结构的高频问题整理一下,答案按我实际理解的深度写出来。

Q1:为什么ZSet用跳表不用红黑树?

因为跳表实现简单、支持高效的范围查询、并发调试也更直观。性能上和红黑树同阶,但工程成本低得多,还天然适配ZSet按score区间查人的场景。

Q2:embstr和raw的区别是什么?为什么阈值是44字节?

embstr把redisObject和SDS头部放在同一块连续内存,一次分配;raw分开分配,两次分配。阈值44来自64 - 16 - 3 - 1的计算,分别对应jemalloc分配单位、redisObject大小、sdshdr8头部、字符串结尾符。

Q3:ziplist存在什么问题?listpack是怎么解决的?

ziplist节点中记录了前一个节点的长度,如果前一个节点长度变化(比如修改内容后变长),会触发连锁更新,极端情况下导致O(n)次的内存搬移。listpack改为每个节点只记录自身长度,不再依赖前一个节点的信息,彻底消除了连锁更新问题,同时保持紧凑内存的优势。

Q4:什么是渐进式rehash?

哈希表扩容时,把一次性搬迁拆成每次操作顺带搬迁一个bucket,分摊CPU开销,避免大字典扩容时阻塞服务。但代价是rehash期间的时间复杂度会略高,因为查找时需要同时查两个表。

Q5:一个Hash超过512个字段会怎样?

底层编码从listpack转为hashtable,内存占用上升,但因为哈希表是O(1)查找,字段增多时单次操作性能依然可控。真正的风险不是编码切换,而是单个大key带慢查询和网络传输问题。

8.2 踩坑实录与避坑技巧

第一坑是连锁更新的性能退化。我有一次压测时发现在ziplist编码的Hash里连续写入长字符串字段,写入耗时从0.01ms涨到0.8ms,排查后定位到是因为频繁触发连锁更新,每个节点长度变化都引发后续节点内存搬移。升级Redis到7.0之后换用listpack,问题彻底消失。如果你的环境还在6.x以下,遇到类似写入耗时抖动,要第一时间怀疑这个。

第二坑是List类型当数据库表用。有个业务用List存日志流水,单key几百MB,导致Redis主从同步时不断触发换页和磁盘IO,从节点频繁断线。当时OBJECT ENCODING看到的是quicklist,整个key在内存中跨了几千个节点,任何一次LRANGE全量操作都让主线程卡顿。最后只能让业务改成按天拆key,每天独立key,用crontab定期清理,才算解决。

第三坑是SETEX一个超大对象。序列化后的JSON有200多KB,String类型直接raw编码,fine,问题是这个key的写入频率还很高,每秒几十次全量覆盖。内存碎片率一度涨到2.3,被迫每隔几天重启一次实例。后来改用Hash按字段存储,listpack编码下内存占用下降60%以上,碎片问题也自然缓解。这就是底层结构直接影响运维成本的一个真实案例。

最后再分享一个实用技巧:排查任何Redis问题时,不要光看INFO memory的used_memory就去下结论,先把OBJECT ENCODING配上MEMORY USAGE刷一遍,确认目标key的真实编码状态。我自己的习惯是做一次全量扫描,把大key和编码异常(比如本该是intset的Set变成了hashtable)的key全部列出来,再针对性做拆分或过期策略调整。你在生产环境里把这套流程跑通一遍,对Redis底层结构的理解会比我写多少字都管用。

基于Python+Open CV的手势识别算法设计
伴随着人工智能时代的到来,人机交互的领域也逐渐成为研究的一大方向;其中,手势识别是人机交互领域的一项关键技术,自此手势识别也迎来了一波高潮,近几年无论是在消费领域、电子领域、数码领域、家电领域甚至汽车领域上,都能或多或少的见到手势识别的身影。 手势识别在设计智能高效的人机界面方面具有至关重要的作用, 目前手势识别已应用到手语识别、智能监控、到虚拟现实等各个领域,手势识别的原理都是利用各种传感器(例如红外、摄像头等)对手部的形态进行捕捉并进行建模,形成一个模型信息的序列帧,而后将这些信息序列转换为机器能够识别的相对应指令(例如打开、切换菜单、移动等)来完成控制。 采用Python的集成开发环境Pycharm进行本次课程设计,在Pycharm中进行需要库(模块)的下载,调取电脑摄像头,按帧读取摄像头采集到的头像,形态学处理,图像旋转(由于摄像头采集到的图像是镜像,需要用cv2.flip将摄像头采集到的图像进行处理),选取图片中固定位置作为手势输入,用红线画出手势识别框,基于hsv的肤色检测,进行高斯滤波,找出轮廓,求出图像中手势的凹凸点,手指间角度求取。
努力学习前端的小陈
ArcGIS Pro入门制图教程
地理信息系统 (GIS) 是一种使用地图显示和分析数据的方式。在本教程中,您将学习桌面 GIS 应用程序 ArcGIS Pro 的基础知识。新加坡的一家旅行社希望制作一款宣传册,用于向游客介绍距离市中心热门目的地最近的火车站。该宣传册将与带有文本信息的地图相结合,并在城市的自助设备中出售。您将帮助该旅行社绘制旅游景点的地图,分析其与火车站的距离以及更改地图的外观以使其在视觉上更具吸引力。在 ArcGIS Pro 中,地图和数据通常被组织在一个工程中。开始制作地图之前,您将创建一个工程。
科研online
ArcGIS Pro 布局创建与地图加载全流程解析
本文详细解析了ArcGIS Pro中布局创建与地图加载的全流程。针对从ArcMap转来的用户,重点阐述了布局与地图解耦的核心设计理念,并提供了从新建布局、设置参考比例尺、加载地图框到深度控制与精细化排版的实用技巧,帮助用户高效制作专业地图。
您的账号已被封禁
ArcGIS PRO布局视图避坑指南:地图框添加与专题图制作的5个关键步骤
本文针对ArcGIS PRO用户在布局视图中制作专题图时遇到的常见问题,提供了地图框添加与专题图制作的5个关键步骤避坑指南。从理解布局视图思维、数据框预处理、地图元素协同配置,到深化视觉层次与最终输出检查,系统讲解了如何高效产出严谨美观的专业地图,帮助用户跨越从数据分析到地图输出的最后一公里。
冰炭不同炉
ROS-CV-ImageConverter:将ROS图像转换为OpenCV(cv :: Mat)类型的图像
ROS-CV图像转换器 依存关系 cv_bridge(ROS软件包)
Willis Wang
计算机视觉图像处理-CV2与图像插值算法
用最近邻插值与双线性插值原理完成图像缩放 最近邻插值,是指将目标图像中的点,对应到源图像中后,找到最相邻的整数点,作为插值后的输。缺点:使用最近邻插值算法处理图像放大时,在图象中可能出现明显的块状效应 双线性插值,在两个方向上做三次线性插值。使用双线性插值算法处理图像放大时,在图象中可能出现马赛克 代码 import cv2 img = cv2.imread(’./xiabang.jpg’, cv2.IMREAD_UNCHANGED) #缩放比例 scale_percent = 0.3 width = int(img.shape[1] * scale_percent) height = int
weixin_38697274
基于水平集CV模型的图像分割(Matlab代码)
基于水平集CV模型的图像分割(Matlab代码),全套代码
小宇QAQ
导向滤波(guide_filter)的python实现
导向滤波(guide_filter)的python实现,可以结合暗通道;理论实现比较好的图像去噪效果。
zachzhan_g
ArcGIS Pro 如何新建布局
你是否已经习惯了在ArcGIS中数据视图和布局视图之间来回切换,到了ArcGIS Pro中却找不到二者之间切换的按钮,即使新建布局后却发现地图怎么却是一片空白。从上面的图中可以看到,虽然新建了布局,但是地图还是空白的,如果想要显示地图还需要加载一下,将地图加载进来。在新建的布局上绘制一个框,作为地图显示的范围,绘制后可以看到地图已经完成加载,如下图所示。在菜单栏上选择插入,点击新建布局下拉箭头,选择一个合适的尺寸,如下图所示。点击后完成布局的新建,新建的布局如下图所示。
水经注GIS
ArcGIS Pro数据修复与图层管理实战指南
本文是ArcGIS Pro数据修复与图层管理的实战指南。针对数据源丢失导致的“红色叹号”问题,详细讲解了一键批量修复和进阶手动修复策略,并分享了使用相对路径、打包工程等防患于未然的黄金法则。同时,深入介绍了如何利用图层组进行高效的地图内容组织、比例尺控制与批量操作,帮助用户构建清晰、智能的专业地图,大幅提升GIS项目管理效率。
Tomato
ArcGIS Pro布局设计实战:从空白页面到专业地图输出的完整工作流
本文详细解析了ArcGIS Pro中从“新建布局”开始,到输出专业地图的完整工作流。内容涵盖布局哲学、地图框深度运用、制图元素集成及视觉排版等核心环节,旨在帮助中级用户掌握项目驱动的现代化制图方法,实现从数据到出版级地图的精准转化。
AnjneyMidha
ArcGIS PRO布局视图避坑指南:地图框添加与坐标系设置的5个常见错误
本文针对ArcGIS PRO用户在布局视图中常遇的难题,重点解析了地图框添加与坐标系设置的5个常见错误。从地图框的创建逻辑、坐标系冲突的根源剖析,到地图范围控制、元素联动更新以及打印导出设置,提供了一套完整的避坑指南与实战解决方案,帮助用户高效、精准地完成地图制图与输出工作。
重离子猫猫
ArcGIS Pro布局设计避坑指南:为什么你的地图总是显示空白?
本文深入解析ArcGIS Pro布局设计中地图显示空白的常见问题,提供从基础操作到高级排错的完整解决方案。重点讲解地图框的正确使用方法、布局元素配置技巧,以及多地图框协同工作等进阶功能,帮助用户快速掌握专业地图制作的核心技术。
习翔宇
CV算法(MATLAB)
chan 和 vese 提出的经典CV模型
beastLOVE
GrabCut:使用opencv-python cv2.grabCut交互式剪切图像
GrabCut 使用opencv-python cv2.grabCut交互式剪切图像
Aaron Gary
Opencv-Python图像透视变换cv2.warpPerspective的示例
今天小编就为大家分享一篇关于Opencv-Python图像透视变换cv2.warpPerspective的示例,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
weixin_38711369
leetcodecv-Kylin:CV算法岗面经&LeetCode刷题总结
leetcode cv Kylin CV算法岗面经 & LeetCode刷题总结 不断更新中。。。。 面试&笔试经验 LeetCode
weixin_38499553
基恩士CV-X系列相机控制器用户手册CV-X Series Users Manual_CHS.pdf
基恩士CV-X系列相机控制器用户手册CV-X Series Users Manual_CHS真的很不错,
weixin_43905342
ArcGIS布局视图方向调整与优化技巧
地图布局方向是GIS制图的基础设置,直接影响空间数据的可视化效果。横向(Landscape)和竖向(Portrait)布局通过调整页面长宽比例,可优化不同地理要素的展示方式。在ArcGIS等专业制图软件中,方向设置会联动影响比例尺、图例等核心元素的自动适配逻辑。本文以A4纸张为例,详解通过页面设置、Python脚本批处理等技术手段实现布局方向的高效调整,并针对比例尺失准、图例溢出等典型问题提供工程解决方案。特别适用于带状区域地图制作等需要最大化利用版面空间的场景,可提升40%以上的图面利用率。
塞音菩光
ArcGIS Pro 3.4必学新功能:符号系统与布局视图的可见性联动(含省时技巧)
ArcGIS Pro 3.4引入了符号系统与布局视图的可见性联动功能,通过唯一值符号化和复选框控制,实现原子级要素显示/隐藏。这一创新极大提升了制图效率,支持在符号系统窗格、内容窗格和布局视图中同步操作,特别适合城市规划、环境监测等需要动态展示的场景。
t8u9v0
ArcGIS Pro 布局创建与地图加载全攻略
本文详细解析了ArcGIS Pro中布局与地图分离的设计哲学,并提供了从新建布局到加载地图的完整操作指南。重点介绍了如何通过“插入”选项卡新建布局、选择合适的页面尺寸,以及使用地图框工具将项目中的地图动态链接至布局。文章还涵盖了地图范围控制、比例尺锁定、图例添加等深度定制技巧,帮助用户高效创建专业地图并导出为高质量成果。
milk8
ArcGIS多图布局实战:从数据框管理到批量导出的完整指南
在地理信息系统(GIS)制图领域,将多张地图高效整合到单一版面是提升分析报告专业性与表现力的关键技术。其核心原理在于理解并运用数据框与布局视图的分离机制,通过独立的数据框承载不同区域或专题的地理数据,并在统一的布局视图中进行精确排版与视觉整合。这项技术的核心价值在于实现了制图流程的标准化与自动化,避免了传统拼图方式带来的效率低下与更新困难问题,尤其适用于区域对比、时间序列分析、综合评估报告等需要多视角、多维度展示地理信息的应用场景。本文聚焦于ArcGIS Pro平台,深入剖析了多图布局中数据框范围联动、地图
aaa1231722
monolithic-cv:CV算法的集合
单片-cv 计算机视觉算法转储
晨曦姜
改进的cv图像分割
改进的cv图像分割,对学习cv模型有帮助
a904235765
C++实现基于暗通道与导向滤波的图像去雾算法
资源下载链接为: https://pan.quark.cn/s/1bfadf00ae14 在图像处理领域,图像去雾技术用于消除大气散射导致的模糊,提升图像清晰度和视觉质量。本文将介绍一种基于暗通道和导向滤波的图像去雾算法,并探讨如何使用C++和OpenCV库实现。 暗通道理论由Jia等人于2006年提出。他们发现自然场景中存在一些低亮度像素,通常位于无直射光区域。这些像素被称为暗通道像素,可用于估计大气散射模型中的透射率。具体方法是将图像分块,在每块中找到最暗像素值作为暗通道像素。 大气散射模型是图像去雾的基础,描述了光线在大气中传播时的散射影响。模型公式为: I(x)=T(x)×J(x)+A×(1−T(x)) 其中,T(x)是透射率,J(x)是无雾图像亮度,A是全局大气光。透射率与散射程度成反比,无雾图像亮度反映物体本身色彩。 利用暗通道先验,可以近似估计透射率。假设D(x)为暗通道像素,透射率T(x)可通过迭代公式计算: T k+1 (x)= max(D)+ϵ D(x) +(1− max(D)+ϵ D(x) )×T k (x) 其中,k是迭代次数,ϵ是小常数,用于避免除零。 估计透射率后,使用导向滤波器平滑透射率图,减少噪声和边缘失真。导向滤波是一种自适应局部滤波方法,可保持图像边缘细节,同时进行平滑处理。在图像去雾中,它根据图像梯度信息指导滤波过程,更好地恢复图像清晰度。 通过大气散射模型,可得到去雾后的图像: J out (x)= T(x) I(x)−A×(1−T(x)) +A 在C++中,可借助OpenCV库处理图像数据。首先读取输入图像,然后提取暗通道,估计透射率,应用导向滤波,最终恢复无雾图像。OpenCV提供了丰富的图像处理函数,如cv::split用于分离通道,cv::min用于找最小值,cv::filter2D用于导向滤波,cv::imwrite用于保存
KaiyuanCode
cv模型图像分割matlab源程序
cv模型 matlab 图像分割源码,逻辑清晰,注释详尽。
phoenix01
CV图像分割
从pud找到的CV图像分割代码,代码的通过较少的迭代次数就可以实现图像的分割,对学习CV分割有帮助。
a904235765
ArcGIS Pro 3.0 布局视图实战:5分钟搞定专业地图的图例、比例尺与指北针
本文详细介绍了ArcGIS Pro 3.0布局视图的实战技巧,帮助用户在5分钟内高效添加图例、比例尺与指北针,打造专业地图。通过智能图例、动态比例尺和现代化指北针设计,提升制图效率与美观度,特别适合GIS初学者和从ArcMap迁移的用户。
weixin_30652491
ArcGIS Pro界面突然消失?3种恢复方法+自定义布局技巧
本文针对ArcGIS Pro用户常见的操作界面元素突然消失问题,提供了三种核心恢复方法:通过“视图”功能区一键唤回、利用“重置窗格”命令恢复默认布局,以及通过应用程序设置进行深度恢复。文章还深入讲解了如何通过停靠、分组窗格以及自定义功能区等技巧,打造高效个性化的操作界面,帮助用户从被动解决问题转向主动优化工作环境。
nnn11
第五节_PySide6基本窗口控件_主窗口和标签
本文介绍了PySide6中主窗口和标签控件的使用。主要内容包括: 窗口控件分类: QWidget是基础窗口部件,可作为独立窗口或子部件 QMainWindow提供标准应用程序框架,包含菜单栏、工具栏等 QDialog用于对话框,支持模态交互 主窗口创建: 演示了如何创建QMainWindow子类 实现了窗口居中、设置图标、状态栏等功能 提供了窗口几何信息的获取方法 QLabel标签控件: 继承自QFrame类 用于显示文本或图像 文章通过代码示例详细说明了主窗口的创建和使用方法,包括位置控制、图标设置等常见
叶子丶苏