分布式缓存实战:从原理到防雪崩、穿透与一致性治理

分布式缓存Redis缓存雪崩
于 2026-10-29 07:03:16 修改
·本内容遵循CC 4.0 BY-SA版权协议

1. 这不是“加个Redis”就能解决的问题:分布式系统里缓存的真实战场

“为什么要在分布式系统中使用缓存?”——这问题听起来像Java面试开场白,但如果你真在生产环境里扛过流量洪峰、调过半夜三点的缓存雪崩告警、或者被业务方指着监控图问“为啥查个用户信息要2秒”,你就知道,这根本不是一道选择题,而是一场关于资源、时延、一致性与成本的精密权衡。我干这行十一年,从单体应用时代手写LRU缓存,到如今管理着跨机房、多集群、日均千亿级读请求的缓存体系,踩过的坑比走过的路还多。缓存从来不是分布式系统的“锦上添花”,而是它能活下来的“呼吸系统”。没有缓存,绝大多数现代互联网服务会在第一次大促流量下直接窒息——数据库连接池打满、慢SQL堆积、线程阻塞、服务雪崩,一气呵成。你看到的“Redis下载”“redis安装教程”只是入口,真正难的是理解:为什么必须是分布式缓存?为什么单机ConcurrentHashMap不行?为什么Redisson比原生RedisClient更重?为什么MyBatis二级缓存在微服务里反而成了雷区?这些答案不在官网文档里,而在每一次线上故障的根因分析报告中。这篇文章不讲怎么装Redis,也不列Java面试八股文,只说我在真实项目里用血换来的认知:缓存不是把数据“多存一份”,而是重构整个请求链路的数据流动方式。它解决的表面是性能问题,底层是系统架构的可扩展性瓶颈;它带来的便利背后,藏着一致性、失效策略、穿透防护三座大山。适合正在设计微服务架构的后端工程师、被缓存问题反复折磨的运维同学,以及想跳出“背面试题”陷阱、真正理解系统本质的Java开发者。接下来的内容,每一句都来自生产环境,每一步都经过压测验证。

2. 缓存存在的底层逻辑:从CPU缓存到分布式缓存的三级跃迁

2.1 一切始于物理世界的“速度鸿沟”

要真正理解分布式缓存的必要性,得先回到计算机最底层的物理现实:不同层级存储介质的速度差异,是指数级的,而非线性。这不是理论,是硅基芯片无法绕开的物理定律。我们来算一笔硬账:

  • CPU寄存器访问:约0.3纳秒(ns)
  • L1缓存访问:约1纳秒(ns)
  • L2缓存访问:约4纳秒(ns)
  • 主内存(DDR4)访问:约100纳秒(ns)
  • SSD随机读(NVMe):约100微秒(μs)= 100,000纳秒
  • 机械硬盘随机读:约10毫秒(ms)= 10,000,000纳秒
  • 远程数据库(跨机房MySQL主库):平均50毫秒(ms)起跳,网络抖动下常达200ms+

提示:1毫秒 = 1,000,000纳秒。这意味着,一次远程数据库查询,耗时是CPU访问寄存器的3亿倍。这个数量级差距,决定了任何试图靠“堆数据库硬件”解决高并发读的方案,都是在对抗物理规律。

这个“速度金字塔”在单机时代就已存在,CPU靠多级缓存(L1/L2/L3)把热点数据拽到离计算单元最近的地方。分布式系统不过是把这个逻辑放大到了网络层面:当你的应用节点(JVM)和数据库节点(MySQL Server)物理分离,甚至跨机房部署时,“本地内存”对另一个节点而言就是“远程存储”。此时,应用进程内的ConcurrentHashMap,对其他JVM实例来说,其访问延迟和数据库无异——都要走网络。这就是为什么单机缓存无法解决分布式场景的根本矛盾。

2.2 分布式系统的三大刚性约束:CAP与缓存的必然性

分布式系统教科书必提CAP理论,但在真实业务中,我们面对的不是理论选择,而是被逼出来的妥协。以一个典型的电商商品详情页为例:

  • Consistency(一致性):用户A刚下单扣减了库存,用户B立刻刷新页面,必须看到库存-1。这是强一致要求。
  • Availability(可用性):大促期间,哪怕数据库主库短暂不可用,商品页也必须能返回“最后已知的正确状态”,不能直接报500错误。
  • Partition Tolerance(分区容错):机房光纤被挖断,系统必须继续运转。

现实是,你无法同时满足三者。业务通常选择AP(高可用+分区容错),而将C(一致性)降级为“最终一致”。缓存,正是实现这种降级的关键杠杆。它把原本必须实时穿透到数据库的读请求,拦截在离用户更近的环节——应用服务器本地内存(一级缓存)、本机Redis(二级缓存)、跨机房Redis集群(三级缓存)。这个过程不是凭空创造数据,而是用可控的时间窗口(TTL)换取确定的响应能力。例如,商品价格缓存设置5分钟过期,意味着用户最多看到5分钟前的价格,但换来的是99.99%的请求能在10ms内返回,而不是在数据库慢查询队列里排队等2秒。这种trade-off,是分布式系统生存的底层逻辑。

2.3 为什么是Redis,而不是自己造轮子?

网络热词里“redis下载”“redis安装”高频出现,但很多人没深究:为什么是Redis,而不是Memcached、Etcd,或者自己用Netty写一个?答案藏在它的设计哲学里:

  • 单线程模型 + 非阻塞IO:Redis用单线程处理所有命令,避免了多线程锁竞争开销。配合epoll/kqueue,一个CPU核心轻松支撑10万+ QPS。我实测过,在4核8G的云主机上,Redis 7.0单实例稳定承载12万QPS读请求,而同等配置下,自己用Spring Boot+HikariCP写的简单HTTP缓存服务,QPS卡死在1.8万——瓶颈不在业务逻辑,而在JVM GC和线程上下文切换。
  • 丰富的数据结构:热词里“redis数据类型”被反复搜索,这不是偶然。String用于基础KV;Hash存对象字段(如user:{id} -> {name, email, avatar});List做消息队列;Set做去重;Sorted Set按分数排序(如排行榜);Bitmap做签到统计;HyperLogLog做UV估算。这些原语让Redis能直接支撑业务逻辑,无需在应用层做大量数据转换。比如,用Sorted Set实现“附近的人”,一条ZREVRANGEBYSCORE命令搞定,而如果用MySQL,需要复杂的地理空间索引和分页计算。
  • 持久化与高可用机制成熟:RDB快照保证崩溃后快速恢复;AOF日志提供更高数据安全性;哨兵(Sentinel)自动故障转移;Cluster模式原生支持水平扩展。对比之下,Memcached纯内存、无持久化,宕机即丢数据;Etcd强一致但读性能弱,不适合高并发读场景。

注意:选型不是看功能列表,而是看“失败场景”。Redis的AOF重写可能阻塞主线程,Cluster的哈希槽迁移可能引发短暂超时——这些细节,才是决定你能否在生产环境放心用它的关键。

3. 分布式缓存的核心落地场景与技术实现深度拆解

3.1 场景一:读多写少的“黄金比例”数据——缓存击穿的防御工事

这是最经典、也最容易出事的场景。典型如首页Banner、热门商品信息、用户基础资料。它们更新频率低(一天几次),但读取量巨大(QPS上万)。问题在于:当一个热点Key恰好过期,瞬间涌来的海量请求会全部穿透到数据库,造成雪崩。

解决方案不是简单加个setIfAbsent,而是组合拳:

  1. 逻辑过期(Logical Expiration):这是Redisson的RLocalCachedMap和Spring Cache @Cacheable的unless属性背后的思想。Key本身永不过期,但Value里嵌套一个expireTime字段。读取时,先检查expireTime是否过期;若过期,则用互斥锁(如Redisson的RLock)只允许一个线程去加载新数据,其他线程要么返回旧值(容忍短暂不一致),要么等待锁释放后重读。代码示意:

    JAVA
    public Product getProduct(Long id) {
    String key = "product:" + id;
    ProductCacheWrapper wrapper = redisTemplate.opsForValue().get(key);
    if (wrapper != null && wrapper.getExpireTime() > System.currentTimeMillis()) {
    return wrapper.getProduct();
    }
    // 获取分布式锁,防止缓存击穿
    RLock lock = redissonClient.getLock("lock:product:" + id);
    try {
    if (lock.tryLock(3, 10, TimeUnit.SECONDS)) {
    // 双重检查,防止重复加载
    wrapper = redisTemplate.opsForValue().get(key);
    if (wrapper == null || wrapper.getExpireTime() <= System.currentTimeMillis()) {
    Product product = dbMapper.selectById(id); // 真实DB查询
    wrapper = new ProductCacheWrapper(product, System.currentTimeMillis() + 5 * 60 * 1000); // 5分钟逻辑过期
    redisTemplate.opsForValue().set(key, wrapper, Duration.ofHours(24)); // 物理永不过期
    }
    }
    } finally {
    if (lock.isLocked() && lock.isHeldByCurrentThread()) {
    lock.unlock();
    }
    }
    return wrapper != null ? wrapper.getProduct() : null;
    }

    这里Duration.ofHours(24)是物理过期时间,仅作兜底,防止内存泄漏;真正的过期控制在ProductCacheWrapper内部。

  2. 布隆过滤器(Bloom Filter)前置校验:针对恶意攻击或无效ID查询(如/product/999999999),在缓存之前加一层布隆过滤器。它用极小内存(如1GB可存10亿条记录,误判率<0.1%)告诉你“这个ID绝对不存在”,从而100%拦截穿透。Redisson提供了RBloomFilter,初始化时需预估容量和期望误判率:

    JAVA
    RBloomFilter<String> bloomFilter = redissonClient.getBloomFilter("product:id:bloom");
    bloomFilter.tryInit(10000000L, 0.01); // 初始化:1000万容量,1%误判率
    // 加载全量ID到布隆过滤器(后台任务)
    bloomFilter.add("12345");
    // 查询前校验
    if (!bloomFilter.contains("999999999")) {
    throw new IllegalArgumentException("Product not exists");
    }

3.2 场景二:高并发计数与状态同步——Redis原子操作的不可替代性

热词里“redis分布式锁”“redis序列化”高频出现,但很多人忽略了Redis最强大的能力:在分布式环境下,对共享状态进行原子性变更。比如秒杀库存扣减、用户登录态刷新、文章阅读数累加。

传统方案用数据库行锁(SELECT ... FOR UPDATE),但高并发下锁竞争激烈,TPS骤降。Redis的INCR、DECR、HINCRBY、EVAL脚本,天然支持原子性:

  • 库存扣减(Lua脚本保证原子):

    LUA
    -- KEYS[1] = "stock:1001", ARGV[1] = "1" (扣减数量)
    local stock = tonumber(redis.call('GET', KEYS[1]))
    if stock < tonumber(ARGV[1]) then
    return -1 -- 库存不足
    else
    redis.call('DECRBY', KEYS[1], ARGV[1])
    return stock - tonumber(ARGV[1])
    end

    Java调用:

    JAVA
    DefaultRedisScript<Long> script = new DefaultRedisScript<>();
    script.setScriptText(luaScript);
    script.setResultType(Long.class);
    Long result = redisTemplate.execute(script, Collections.singletonList("stock:1001"), "1");
    if (result == null || result < 0) {
    throw new RuntimeException("库存扣减失败");
    }
  • 分布式锁的正确打开方式:网络热词“redis分布式锁”常被误解为SETNX就完事。实际生产必须满足三个条件:互斥、防死锁、防误删。Redisson的RLock完美封装:

    JAVA
    RLock lock = redissonClient.getLock("order:create:lock");
    try {
    // 尝试获取锁,最长等待10秒,锁自动续期30秒
    if (lock.tryLock(10, 30, TimeUnit.SECONDS)) {
    // 执行创建订单逻辑
    createOrder();
    }
    } finally {
    if (lock.isLocked() && lock.isHeldByCurrentThread()) {
    lock.unlock(); // 自动续期机制确保不会因GC停顿导致锁提前释放
    }
    }

    其底层是用SET resource_name random_value NX PX 30000实现,random_value保证只有加锁者能解锁,PX设置过期时间防死锁。

3.3 场景三:多级缓存架构——从本地到远端的协同作战

热词里“spring三级缓存原理”常被拿来类比,但分布式多级缓存远比Spring Bean生命周期复杂。一个健壮的方案通常是三层:

层级 存储介质 访问延迟 容量 适用场景 一致性保障
L1:应用本地缓存 Caffeine(Java) <100μs MB级 极高频、低更新率数据(如配置项、字典表) TTL驱逐,无主动同步
L2:本机Redis Docker部署的Redis ~1ms GB级 热点业务数据(如用户Session、商品摘要) 主动失效(写DB后删Key)
L3:集群Redis Redis Cluster ~5ms(同机房) TB级 全局共享、中频数据(如用户积分、订单状态) 消息队列异步更新

关键实现细节:

  • L1与L2/L3的一致性:不能依赖被动监听。采用“写穿透(Write-Through)”策略:更新DB时,同步清除L1和L2的对应Key,并向MQ发送CacheInvalidateEvent,由消费者负责清除L3。这样避免了Redis Key过期时间不一致导致的脏读。
  • Caffeine的高级用法:不只是maximumSize和expireAfterWrite。利用refreshAfterWrite实现“后台刷新”,当Key即将过期时,由一个异步线程悄悄加载新值,用户请求永远拿到最新数据:
    JAVA
    Caffeine.newBuilder()
    .maximumSize(10000)
    .refreshAfterWrite(10, TimeUnit.MINUTES) // 10分钟后触发刷新
    .build(key -> loadFromRemoteCache(key)); // 刷新时调用此方法
  • Redis Cluster的坑:热词“docker安装redis主从”很常见,但Cluster模式下,KEYS *命令被禁用,SCAN需遍历所有哈希槽。监控时要用redis-cli --cluster check而非单节点INFO。

4. 缓存治理的生死线:失效、穿透、雪崩的实战排障手册

4.1 缓存失效风暴:当TTL集体到期,世界安静了

现象:凌晨2点,所有缓存Key按计划过期,紧接着数据库CPU飙升至100%,应用RT从20ms暴涨到2秒,告警电话响成一片。

根因分析:大量Key设置了相同TTL(如统一设为2小时),且业务低峰期(如凌晨)批量写入,导致过期时间高度集中。

实操解决方案:

  • TTL随机化:在基础TTL上增加0~10%的随机偏移。例如,预期2小时,实际设为7200 + Random.nextInt(720)秒。Spring Cache可通过自定义CacheManager实现:
    JAVA
    public class RandomizedTtlCacheManager extends SimpleCacheManager {
    private final Random random = new Random();
    @Override
    protected Collection<? extends Cache> loadCaches() {
    List<Cache> caches = new ArrayList<>();
    caches.add(new ConcurrentMapCache("default") {
    @Override
    public void put(Object key, Object value) {
    super.put(key, value);
    // 此处无法直接设TTL,需在RedisTemplate层面处理
    }
    });
    return caches;
    }
    }
    // 更推荐在RedisTemplate操作时注入随机性
    redisTemplate.opsForValue().set(key, value,
    Duration.ofSeconds(baseTtl + random.nextInt(baseTtl / 10)));
  • 预热(Warm-up)机制:在低峰期(如凌晨1点),用脚本主动加载未来2小时的热点Key。我们用Python写了个轻量工具,读取Nginx日志Top 1000 URL,构造对应的缓存Key,批量GET触发加载。

4.2 缓存穿透:黑客的“空指针攻击”

现象:监控显示大量cache miss,但数据库慢查询日志里,SELECT * FROM user WHERE id = ?的参数全是负数、超长字符串或明显非法值(如id=abc)。

根因:攻击者故意构造不存在的Key,绕过缓存直击DB。布隆过滤器虽好,但初始化成本高,且无法动态添加(需重建)。

进阶防御方案:

  • 空值缓存(Null Cache):对查询结果为null的Key,也存入Redis,值设为特殊标记(如"NULL"),TTL设为较短时间(如5分钟)。下次再查,直接返回空,不打DB。
    JAVA
    User user = dbMapper.selectById(id);
    if (user == null) {
    redisTemplate.opsForValue().set("user:" + id, "NULL", Duration.ofMinutes(5));
    return null;
    }
    redisTemplate.opsForValue().set("user:" + id, user, Duration.ofHours(2));
    return user;
  • 参数合法性校验前置:在Controller层用@Valid注解,对ID字段加@Min(1)、@Max(99999999),非法请求直接400拦截,连缓存层都不进。

4.3 缓存雪崩:当Redis集群集体宕机

现象:Redis主节点全部失联,所有读请求穿透,数据库被打垮,整个系统不可用。

这不是理论风险。我们曾因运维误操作,redis-cli --cluster reshard时指定错误的slot范围,导致集群元数据混乱,3个Master节点相继退出。

高可用加固清单:

  • 多活部署:至少2个Redis Cluster,跨AZ部署。应用层用ShardingSphere或自研路由组件,主集群故障时,自动切到备用集群(降级为只读,或接受短暂不一致)。
  • 熔断降级:集成Sentinel或Resilience4j。当Redis调用失败率>50%持续30秒,自动开启熔断,后续请求直接走DB(或返回兜底数据),并定时尝试半开状态。
  • 连接池精细化配置:热词“redis客户端可视化工具”常被用来调试,但生产环境必须严控连接。lettuce连接池关键参数:
    YAML
    spring:
    redis:
    lettuce:
    pool:
    max-active: 32 # 不是越大越好,过多连接加剧DB压力
    max-idle: 16
    min-idle: 4
    max-wait: 1000ms # 超过1秒直接失败,不排队
    我们实测,max-active超过64后,QPS不升反降,因为Redis服务器端TCP连接数已达瓶颈。

4.4 一致性难题:缓存与DB的“薛定谔的猫”

热词“java怎么保证数据一致性”是永恒痛点。终极答案:无法100%强一致,只能在业务可接受范围内做最终一致。

分场景治理策略:

  • 强一致要求场景(如支付余额):放弃缓存,直接读DB。用数据库事务+行锁保证。缓存只存“非核心”字段,如用户头像URL。
  • 最终一致场景(如商品标题、描述):采用“更新DB后删除缓存”(Cache Aside Pattern)。但要注意删除时机:
    • ✅ 正确:先删缓存,再更新DB。即使DB更新失败,缓存为空,下次读会重新加载,无脏数据。
    • ❌ 危险:先更新DB,再删缓存。若删缓存失败,DB已是新值,缓存还是旧值,长期不一致。
  • 双写一致性(更新DB同时更新缓存):仅适用于缓存数据简单、无复杂计算的场景。必须用事务消息(如RocketMQ事务消息)保证DB和Redis操作的原子性,否则极易出现“DB成功、Redis失败”的脏数据。

实操心得:我们曾在线上用“先删缓存再更新DB”策略,但因网络抖动,DB更新成功而缓存删除失败,导致15分钟不一致。后来升级为“删除缓存 → 发送MQ消息 → 消费者重试删除”,配合死信队列,不一致窗口缩短到秒级。

5. 避坑指南:那些没人告诉你的缓存“暗礁”

5.1 序列化:别让JSON把你拖垮

热词“redis序列化”看似简单,但选错序列化方式,性能差10倍。默认JdkSerializationRedisSerializer,一个1KB的User对象序列化后变成3KB,且JDK序列化慢、不跨语言。

实测对比(10万次序列化耗时):

序列化器 耗时(ms) 序列化后大小(Byte) 跨语言支持
JDK 1240 3250 否
JSON (Jackson) 890 1024 是
Protobuf 210 680 是
Kryo 180 850 否

推荐方案:Spring Boot 2.6+ 默认用GenericJackson2JsonRedisSerializer,但需注意:

  • @JsonIgnore注解在JSON序列化时生效,但JDK序列化不认,容易踩坑。
  • 对于高频小对象(如Token),用Protobuf定义.proto文件,生成Java类,序列化体积最小、速度最快。我们用Protobuf后,Redis内存占用下降37%,GC频率降低50%。

5.2 内存爆炸:大Key与热Key的双重绞杀

热词“workbuddy 存放对话记录、运行缓存与临时文件 占用高”直指痛点。一个user:12345:chat_history的List,存了10万条消息,每次LRANGE都要加载全部,内存爆满。

识别与治理:

  • 大Key识别:用redis-cli --bigkeys扫描,重点关注list、hash、zset类型。我们发现一个hash大Key,有200万个字段,占内存1.2GB。
  • 热Key识别:用redis-cli --hotkeys或监控keyspace_hits/keyspace_misses比率。一个config:globalKey,QPS 5万,但更新频率极低。
  • 治理手段:
    • 拆分:user:12345:chat_history → user:12345:chat_history:202310(按月分片)。
    • 压缩:聊天记录用Snappy压缩后再存Redis。
    • 降级:热Key改用本地Caffeine缓存,设置refreshAfterWrite=1h,避免所有请求打到同一Redis节点。

5.3 监控盲区:你以为的“健康”,其实是假象

热词“redis desktop manager”是调试神器,但生产环境不能靠它。必须建立立体监控:

  • 基础指标:used_memory(内存使用率)、connected_clients(连接数)、rejected_connections(拒绝连接数)、expired_keys(每秒过期Key数)。
  • 关键比率:keyspace_hits / (keyspace_hits + keyspace_misses),命中率低于95%就要预警。
  • 慢日志:CONFIG SET slowlog-log-slower-than 10000(记录>10ms命令),定期分析SLOWLOG GET 10。
  • 应用层埋点:在RedisTemplate的execute方法前后打点,统计各业务方法的缓存命中率、平均耗时、失败率。我们用Micrometer+Prometheus,画出“缓存健康度大盘”,一个看板覆盖所有风险。

最后分享一个小技巧:在Redis配置里加notify-keyspace-events "Ex",开启键过期事件通知。然后用redis-cli --csv -s /var/run/redis/redis.sock SUBSCRIBE __keyevent@0__:expired监听,就能实时捕获哪个Key过期了——这比查日志快10倍,是定位缓存失效问题的神技。

基于Python+Open CV的手势识别算法设计
伴随着人工智能时代的到来,人机交互的领域也逐渐成为研究的一大方向;其中,手势识别是人机交互领域的一项关键技术,自此手势识别也迎来了一波高潮,近几年无论是在消费领域、电子领域、数码领域、家电领域甚至汽车领域上,都能或多或少的见到手势识别的身影。 手势识别在设计智能高效的人机界面方面具有至关重要的作用, 目前手势识别已应用到手语识别、智能监控、到虚拟现实等各个领域,手势识别的原理都是利用各种传感器(例如红外、摄像头等)对手部的形态进行捕捉并进行建模,形成一个模型信息的序列帧,而后将这些信息序列转换为机器能够识别的相对应指令(例如打开、切换菜单、移动等)来完成控制。 采用Python的集成开发环境Pycharm进行本次课程设计,在Pycharm中进行需要库(模块)的下载,调取电脑摄像头,按帧读取摄像头采集到的头像,形态学处理,图像旋转(由于摄像头采集到的图像是镜像,需要用cv2.flip将摄像头采集到的图像进行处理),选取图片中固定位置作为手势输入,用红线画出手势识别框,基于hsv的肤色检测,进行高斯滤波,找出轮廓,求出图像中手势的凹凸点,手指间角度求取。
努力学习前端的小陈
ArcGIS Pro入门制图教程
地理信息系统 (GIS) 是一种使用地图显示和分析数据的方式。在本教程中,您将学习桌面 GIS 应用程序 ArcGIS Pro 的基础知识。新加坡的一家旅行社希望制作一款宣传册,用于向游客介绍距离市中心热门目的地最近的火车站。该宣传册将与带有文本信息的地图相结合,并在城市的自助设备中出售。您将帮助该旅行社绘制旅游景点的地图,分析其与火车站的距离以及更改地图的外观以使其在视觉上更具吸引力。在 ArcGIS Pro 中,地图和数据通常被组织在一个工程中。开始制作地图之前,您将创建一个工程。
科研online
ArcGIS Pro 布局创建与地图加载全流程解析
本文详细解析了ArcGIS Pro中布局创建与地图加载的全流程。针对从ArcMap转来的用户,重点阐述了布局与地图解耦的核心设计理念,并提供了从新建布局、设置参考比例尺、加载地图框到深度控制与精细化排版的实用技巧,帮助用户高效制作专业地图。
您的账号已被封禁
ArcGIS PRO布局视图避坑指南:地图框添加与专题图制作的5个关键步骤
本文针对ArcGIS PRO用户在布局视图中制作专题图时遇到的常见问题,提供了地图框添加与专题图制作的5个关键步骤避坑指南。从理解布局视图思维、数据框预处理、地图元素协同配置,到深化视觉层次与最终输出检查,系统讲解了如何高效产出严谨美观的专业地图,帮助用户跨越从数据分析到地图输出的最后一公里。
冰炭不同炉
ROS-CV-ImageConverter:将ROS图像转换为OpenCV(cv :: Mat)类型的图像
ROS-CV图像转换器 依存关系 cv_bridge(ROS软件包)
Willis Wang
计算机视觉图像处理-CV2与图像插值算法
用最近邻插值与双线性插值原理完成图像缩放 最近邻插值,是指将目标图像中的点,对应到源图像中后,找到最相邻的整数点,作为插值后的输。缺点:使用最近邻插值算法处理图像放大时,在图象中可能出现明显的块状效应 双线性插值,在两个方向上做三次线性插值。使用双线性插值算法处理图像放大时,在图象中可能出现马赛克 代码 import cv2 img = cv2.imread(’./xiabang.jpg’, cv2.IMREAD_UNCHANGED) #缩放比例 scale_percent = 0.3 width = int(img.shape[1] * scale_percent) height = int
weixin_38697274
基于水平集CV模型的图像分割(Matlab代码)
基于水平集CV模型的图像分割(Matlab代码),全套代码
小宇QAQ
导向滤波(guide_filter)的python实现
导向滤波(guide_filter)的python实现,可以结合暗通道;理论实现比较好的图像去噪效果。
zachzhan_g
ArcGIS Pro 如何新建布局
你是否已经习惯了在ArcGIS中数据视图和布局视图之间来回切换,到了ArcGIS Pro中却找不到二者之间切换的按钮,即使新建布局后却发现地图怎么却是一片空白。从上面的图中可以看到,虽然新建了布局,但是地图还是空白的,如果想要显示地图还需要加载一下,将地图加载进来。在新建的布局上绘制一个框,作为地图显示的范围,绘制后可以看到地图已经完成加载,如下图所示。在菜单栏上选择插入,点击新建布局下拉箭头,选择一个合适的尺寸,如下图所示。点击后完成布局的新建,新建的布局如下图所示。
水经注GIS
ArcGIS Pro数据修复与图层管理实战指南
本文是ArcGIS Pro数据修复与图层管理的实战指南。针对数据源丢失导致的“红色叹号”问题,详细讲解了一键批量修复和进阶手动修复策略,并分享了使用相对路径、打包工程等防患于未然的黄金法则。同时,深入介绍了如何利用图层组进行高效的地图内容组织、比例尺控制与批量操作,帮助用户构建清晰、智能的专业地图,大幅提升GIS项目管理效率。
Tomato
ArcGIS Pro布局设计实战:从空白页面到专业地图输出的完整工作流
本文详细解析了ArcGIS Pro中从“新建布局”开始,到输出专业地图的完整工作流。内容涵盖布局哲学、地图框深度运用、制图元素集成及视觉排版等核心环节,旨在帮助中级用户掌握项目驱动的现代化制图方法,实现从数据到出版级地图的精准转化。
AnjneyMidha
ArcGIS PRO布局视图避坑指南:地图框添加与坐标系设置的5个常见错误
本文针对ArcGIS PRO用户在布局视图中常遇的难题,重点解析了地图框添加与坐标系设置的5个常见错误。从地图框的创建逻辑、坐标系冲突的根源剖析,到地图范围控制、元素联动更新以及打印导出设置,提供了一套完整的避坑指南与实战解决方案,帮助用户高效、精准地完成地图制图与输出工作。
重离子猫猫
ArcGIS Pro布局设计避坑指南:为什么你的地图总是显示空白?
本文深入解析ArcGIS Pro布局设计中地图显示空白的常见问题,提供从基础操作到高级排错的完整解决方案。重点讲解地图框的正确使用方法、布局元素配置技巧,以及多地图框协同工作等进阶功能,帮助用户快速掌握专业地图制作的核心技术。
习翔宇
CV算法(MATLAB)
chan 和 vese 提出的经典CV模型
beastLOVE
GrabCut:使用opencv-python cv2.grabCut交互式剪切图像
GrabCut 使用opencv-python cv2.grabCut交互式剪切图像
Aaron Gary
Opencv-Python图像透视变换cv2.warpPerspective的示例
今天小编就为大家分享一篇关于Opencv-Python图像透视变换cv2.warpPerspective的示例,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
weixin_38711369
leetcodecv-Kylin:CV算法岗面经&LeetCode刷题总结
leetcode cv Kylin CV算法岗面经 & LeetCode刷题总结 不断更新中。。。。 面试&笔试经验 LeetCode
weixin_38499553
基恩士CV-X系列相机控制器用户手册CV-X Series Users Manual_CHS.pdf
基恩士CV-X系列相机控制器用户手册CV-X Series Users Manual_CHS真的很不错,
weixin_43905342
ArcGIS布局视图方向调整与优化技巧
地图布局方向是GIS制图的基础设置,直接影响空间数据的可视化效果。横向(Landscape)和竖向(Portrait)布局通过调整页面长宽比例,可优化不同地理要素的展示方式。在ArcGIS等专业制图软件中,方向设置会联动影响比例尺、图例等核心元素的自动适配逻辑。本文以A4纸张为例,详解通过页面设置、Python脚本批处理等技术手段实现布局方向的高效调整,并针对比例尺失准、图例溢出等典型问题提供工程解决方案。特别适用于带状区域地图制作等需要最大化利用版面空间的场景,可提升40%以上的图面利用率。
塞音菩光
ArcGIS Pro 3.4必学新功能:符号系统与布局视图的可见性联动(含省时技巧)
ArcGIS Pro 3.4引入了符号系统与布局视图的可见性联动功能,通过唯一值符号化和复选框控制,实现原子级要素显示/隐藏。这一创新极大提升了制图效率,支持在符号系统窗格、内容窗格和布局视图中同步操作,特别适合城市规划、环境监测等需要动态展示的场景。
t8u9v0
ArcGIS Pro 布局创建与地图加载全攻略
本文详细解析了ArcGIS Pro中布局与地图分离的设计哲学,并提供了从新建布局到加载地图的完整操作指南。重点介绍了如何通过“插入”选项卡新建布局、选择合适的页面尺寸,以及使用地图框工具将项目中的地图动态链接至布局。文章还涵盖了地图范围控制、比例尺锁定、图例添加等深度定制技巧,帮助用户高效创建专业地图并导出为高质量成果。
milk8
ArcGIS多图布局实战:从数据框管理到批量导出的完整指南
在地理信息系统(GIS)制图领域,将多张地图高效整合到单一版面是提升分析报告专业性与表现力的关键技术。其核心原理在于理解并运用数据框与布局视图的分离机制,通过独立的数据框承载不同区域或专题的地理数据,并在统一的布局视图中进行精确排版与视觉整合。这项技术的核心价值在于实现了制图流程的标准化与自动化,避免了传统拼图方式带来的效率低下与更新困难问题,尤其适用于区域对比、时间序列分析、综合评估报告等需要多视角、多维度展示地理信息的应用场景。本文聚焦于ArcGIS Pro平台,深入剖析了多图布局中数据框范围联动、地图
aaa1231722
monolithic-cv:CV算法的集合
单片-cv 计算机视觉算法转储
晨曦姜
改进的cv图像分割
改进的cv图像分割,对学习cv模型有帮助
a904235765
C++实现基于暗通道与导向滤波的图像去雾算法
资源下载链接为: https://pan.quark.cn/s/1bfadf00ae14 在图像处理领域,图像去雾技术用于消除大气散射导致的模糊,提升图像清晰度和视觉质量。本文将介绍一种基于暗通道和导向滤波的图像去雾算法,并探讨如何使用C++和OpenCV库实现。 暗通道理论由Jia等人于2006年提出。他们发现自然场景中存在一些低亮度像素,通常位于无直射光区域。这些像素被称为暗通道像素,可用于估计大气散射模型中的透射率。具体方法是将图像分块,在每块中找到最暗像素值作为暗通道像素。 大气散射模型是图像去雾的基础,描述了光线在大气中传播时的散射影响。模型公式为: I(x)=T(x)×J(x)+A×(1−T(x)) 其中,T(x)是透射率,J(x)是无雾图像亮度,A是全局大气光。透射率与散射程度成反比,无雾图像亮度反映物体本身色彩。 利用暗通道先验,可以近似估计透射率。假设D(x)为暗通道像素,透射率T(x)可通过迭代公式计算: T k+1 (x)= max(D)+ϵ D(x) +(1− max(D)+ϵ D(x) )×T k (x) 其中,k是迭代次数,ϵ是小常数,用于避免除零。 估计透射率后,使用导向滤波器平滑透射率图,减少噪声和边缘失真。导向滤波是一种自适应局部滤波方法,可保持图像边缘细节,同时进行平滑处理。在图像去雾中,它根据图像梯度信息指导滤波过程,更好地恢复图像清晰度。 通过大气散射模型,可得到去雾后的图像: J out (x)= T(x) I(x)−A×(1−T(x)) +A 在C++中,可借助OpenCV库处理图像数据。首先读取输入图像,然后提取暗通道,估计透射率,应用导向滤波,最终恢复无雾图像。OpenCV提供了丰富的图像处理函数,如cv::split用于分离通道,cv::min用于找最小值,cv::filter2D用于导向滤波,cv::imwrite用于保存
KaiyuanCode
cv模型图像分割matlab源程序
cv模型 matlab 图像分割源码,逻辑清晰,注释详尽。
phoenix01
CV图像分割
从pud找到的CV图像分割代码,代码的通过较少的迭代次数就可以实现图像的分割,对学习CV分割有帮助。
a904235765
ArcGIS Pro 3.0 布局视图实战:5分钟搞定专业地图的图例、比例尺与指北针
本文详细介绍了ArcGIS Pro 3.0布局视图的实战技巧,帮助用户在5分钟内高效添加图例、比例尺与指北针,打造专业地图。通过智能图例、动态比例尺和现代化指北针设计,提升制图效率与美观度,特别适合GIS初学者和从ArcMap迁移的用户。
weixin_30652491
ArcGIS Pro界面突然消失?3种恢复方法+自定义布局技巧
本文针对ArcGIS Pro用户常见的操作界面元素突然消失问题,提供了三种核心恢复方法:通过“视图”功能区一键唤回、利用“重置窗格”命令恢复默认布局,以及通过应用程序设置进行深度恢复。文章还深入讲解了如何通过停靠、分组窗格以及自定义功能区等技巧,打造高效个性化的操作界面,帮助用户从被动解决问题转向主动优化工作环境。
nnn11
【实战解析】RTL8306MB交换芯片驱动开发中的RMII接口调试陷阱
本文深入剖析了RTL8306MB交换芯片驱动开发中RMII接口的典型调试陷阱。通过一个工业网关项目的实战案例,揭示了因硬件原理图设计疏忽导致TX_EN与CRS_DV信号线错接,从而引发网络“哑火”的根本原因。文章详细展示了使用示波器从时钟、数据到控制信号的系统性排查方法,并总结了关键的设计警示与自查清单,为嵌入式网络开发中的软硬件协同调试提供了宝贵经验。
「已注销」