前缀缓存与PagedAttention:哪些请求真省显存

张彦峰ZYF CSDN会员 张彦峰ZYF 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区

显存压力首先来自 KV Cache,而不是框架“魔法”

大模型推理的显存通常分成两块:模型权重和运行时状态。权重量由参数规模、精度、量化方式决定;运行时状态里最容易随业务流量膨胀的是 KV Cache。对自回归模型来说,每生成或预填充一个 token,都要在每层保存 Key/Value,后续 token 通过注意力读取它们。KV Cache 的规模近似随上下文长度和并发请求数线性增长:

KV bytes ≈ 并发序列数 × 序列长度 × 层数 × KV heads × head_dim × 2(K,V) × dtype_bytes

不同模型结构会影响 KV heads,例如 MHA、GQA、MQA 的 KV heads 不同;不同精度也会影响 dtype_bytes。但关键结论不变:上下文越长、并发越高,KV Cache 越容易成为显存瓶颈。

PagedAttention 和前缀缓存解决的是 KV Cache 的管理与复用问题,不是让模型权重变小,也不是让每个有效 token 的 KV 天然消失。没有共享前缀、所有请求都保留长上下文时,框架最多减少碎片和重复计算,不能突破“有效 token 数 × 每 token KV 大小”的下限。

这也是部署时容易误判的地方:换了支持 PagedAttention 的推理框架后,吞吐可能上升,OOM 可能减少,但如果业务请求高度离散,每个请求都有不同长上下文,显存峰值仍然会按真实上下文规模增长。

PagedAttention:减少碎片,不减少有效 token 的 KV 体积

PagedAttention 的思想类似操作系统虚拟内存:不再要求每个请求的 KV Cache 在显存中连续存放,而是把 KV Cache 切成固定大小的块,再通过页表把“逻辑 token 位置”映射到“物理 KV 块”。

传统连续分配的问题在长短请求混跑时很明显:某些请求结束后释放中间区域,后续长请求可能找不到足够大的连续空间;为了避免频繁搬移,系统还可能预留比实际需要更大的 KV 区域。结果是显存看起来还有剩余,却因为碎片或预留策略无法继续接纳请求。

PagedAttention 改成块级分配后,有几个直接收益:

  • 请求增长时按块追加,不需要为完整最大长度一次性分配连续区域。
  • 请求结束后释放的块可以被其他请求复用,碎片粒度从“大段连续空间”降到“固定 token 块”。
  • 多个序列拥有相同 KV 前缀时,可以让块带引用计数,被多个请求共享。
  • 分支续写、并行采样时,共享前缀块只读,后续分叉部分再分配新块。

但它不减少每个有效 token 的 KV 大小。一个 8K token 的独立请求,最终仍需要保存 8K token 对应的 KV;PagedAttention 只是让这 8K token 的 KV 可以分散在多个块里,减少分配失败和尾部浪费。

块大小也有取舍。块越小,尾部浪费越少,调度和页表管理开销相对更高;块越大,元数据开销更低,但每个序列最后一个块的未用空间可能更多。实际部署不应只看吞吐,要同时看块占用率、空闲块数量、驱逐次数和显存峰值。

前缀缓存:只有 token 级完全相同才有复用

前缀缓存依赖一个硬条件:多个请求拥有完全相同的前缀 token。不是字符串看起来相似,也不是语义相近,而是经过同一个 tokenizer、同一套提示词模板处理后,前缀 token 序列完全一致。命中后,框架可以复用已计算好的 KV,跳过重复 prefill,并让相同前缀对应的 KV 块被多个请求引用。

真正能省显存和计算的请求形态通常有这些特征:

  • 长共享前缀:例如稳定的 system prompt、工具说明、输出格式约束、领域规则很长。
  • 高并发重叠:多个请求在缓存未被驱逐前同时到达,复用窗口足够大。
  • 多分支续写:同一个长 prompt 下生成多个候选答案、不同采样参数或不同后处理分支。
  • 多轮会话复用:上一轮上下文稳定保留,后续请求只在尾部追加用户输入。

反过来,如果请求前半段很快分叉,前缀缓存收益会显著下降。常见破坏因素包括:

不利于命中的模板:
[time=2026-xx-xx xx:xx:xx]
[user_id=123456]
请根据以下文档回答:
{RAG 文档列表,顺序不稳定}
问题:{用户问题}

更利于命中的模板:
你是一个客服助手,必须遵守以下规则:
{稳定的长规则、工具说明、输出 JSON Schema}
---
用户上下文:
{用户变量、RAG 文档、问题}

时间戳、请求 ID、用户私有变量如果放在最前面,会让 token 序列从开头就不同;RAG 文档如果每次排序不稳定,即使命中文档集合相同,也可能因为 token 顺序不同导致前缀分叉。此时前缀缓存只剩哈希、索引、驱逐等管理成本,未必能带来明显显存收益。

一个实用建议是把“稳定、可共享、长”的内容尽量前置,把“用户私有、变化频繁、短”的内容后置。但这要和模型效果一起验证:有些任务把问题放前面会提升检索材料利用率,不能为了缓存命中率牺牲回答质量。

开启方式:配置只是开始,关键要看缓存指标

以 vLLM 这类支持 PagedAttention 和前缀缓存的推理框架为例,配置重点不是“开关打开就完事”,而是同时约束最大上下文长度、KV 块大小,并暴露运行时指标。

命令行示例:

vllm serve /models/your-model \
  --enable-prefix-caching \
  --max-model-len 8192 \
  --block-size 16 \
  --gpu-memory-utilization 0.90

Python 初始化示例:

from vllm import LLM, SamplingParams

llm = LLM(
    model="/models/your-model",
    enable_prefix_caching=True,
    max_model_len=8192,
    block_size=16,
    gpu_memory_utilization=0.90,
)

sp = SamplingParams(max_tokens=256, temperature=0.7)

shared_prefix = """你是一个代码审查助手。
必须检查:安全性、可读性、边界条件、异常处理。
输出 JSON,字段包括 risk_level、issues、suggestions。
"""

prompts = [
    shared_prefix + "\n代码片段:\n" + code
    for code in ["def add(a,b): return a+b", "def div(a,b): return a/b"]
]

outputs = llm.generate(prompts, sp)

max_model_len 不宜无脑拉满。它会影响调度器对单请求最大 KV 需求的预期,也会改变长请求进入系统后的显存风险。线上如果绝大多数请求低于 4K,少量请求到 32K,通常需要单独限流、分池或设置更明确的 admission control,而不是把所有实例都配置成最大上下文。

block_size 需要结合请求长度分布调。大量短请求混跑时,过大的块会带来更多尾部浪费;长请求占主导时,较大的块可能降低页表和调度开销。具体取值受框架和后端限制,部署前要以当前版本文档和启动日志为准。

指标侧不要只盯吞吐。至少要打印四类信息:前缀缓存命中率、KV 块占用、驱逐次数、显存峰值。不同框架和版本的 Prometheus 指标名可能不同,下面脚本用关键词方式从 /metrics 里筛选,真实环境需要把名称映射固定下来;具体指标名待按版本验证。

import re
import requests

METRICS_URL = "http://127.0.0.1:8000/metrics"

KEYWORDS = [
    "prefix",      # prefix cache hits / queries / hit rate
    "cache",
    "block",       # used blocks / free blocks / block table
    "evict",       # cache eviction
    "gpu_cache",   # gpu kv cache usage
    "kv",
]

def scrape():
    text = requests.get(METRICS_URL, timeout=2).text
    rows = []
    for line in text.splitlines():
        if line.startswith("#"):
            continue
        lower = line.lower()
        if any(k in lower for k in KEYWORDS):
            rows.append(line)
    return rows

for row in scrape():
    print(row)

压测时建议把业务请求分成两组:一组构造长共享前缀,另一组保留真实线上离散上下文。分别记录缓存命中率、块占用率、驱逐次数和显存峰值。只有共享前缀组显著改善,而真实组没有改善,说明问题不在框架开关,而在请求形态。

与相近方案的边界:别把 KV 管理当成模型压缩

连续批处理、Chunked Prefill、KV 量化、CPU/磁盘 Offload 经常和 PagedAttention、前缀缓存一起出现,但它们解决的问题不同。

连续批处理主要提高 GPU 利用率。请求不必等一个 batch 全部结束,调度器可以把新请求动态插入,把已完成请求移出。它能改善吞吐和排队延迟,但不复用两个请求之间的 KV,也不降低每 token KV 大小。

Chunked Prefill 把长 prompt 的 prefill 拆成块,避免单个超长请求长时间占满计算资源,让 decode 和 prefill 更容易交错调度。它改善调度公平性和延迟曲线,但一个长上下文最终需要的 KV 仍然存在。

KV 量化直接降低每个 token 的 KV 字节数,例如把 KV Cache 用更低精度保存。它确实可能降低显存占用,但会引入精度、速度、内核支持和模型效果的权衡,需要单独评估。

CPU/磁盘 Offload 是把部分 KV 或权重移出 GPU 显存。它缓解 GPU 显存压力,但代价是 PCIe、内存或磁盘访问延迟,长上下文高并发下可能把瓶颈转移到数据搬运。

PagedAttention 和前缀缓存更偏向“减少浪费”和“复用已有 KV”。它们不能替代模型压缩、低精度推理或更小模型选择。一个没有共享前缀、并发又高的业务,即使用了 PagedAttention,也仍然需要为每个有效 token 付出 KV 显存。

部署检查项:稳定模板、驱逐策略和租户隔离

前缀缓存上线前,先检查 tokenizer 是否完全一致。离线压测、线上服务、灰度实例如果 tokenizer 版本或 chat template 不一致,字符串相同也可能得到不同 token,缓存命中会异常下降。模型版本、LoRA 适配器、系统提示词版本变化时,也应避免错误复用旧 KV。

提示词模板要稳定。固定说明、工具定义、JSON Schema、角色约束放在可共享前缀;时间戳、trace_id、用户 ID、AB 实验标记不要放在开头。RAG 场景需要保证文档排序稳定,例如按检索分数和文档 ID 做确定性排序,否则“同一批文档”也可能生成不同 token 前缀。

缓存驱逐策略会直接影响收益。共享前缀很长但请求间隔很大,如果缓存很快被新请求挤掉,命中率仍然不高。相反,如果为了保留前缀缓存导致活跃请求 KV 被频繁抢占,也会增加重算或调度抖动。压测必须覆盖高峰并发,而不是只用单机短时间样例。

多租户场景还要评估隔离和隐私风险。跨租户共享前缀可能暴露“某些租户使用了相同系统提示或模板”的侧信道,也可能让缓存生命周期和命中行为变成可观测信号。更稳妥的做法是按租户、模型版本、模板版本划分缓存命名空间;是否允许跨租户共享,要经过安全评审,而不是默认打开。

建议用四个指标做压测基线:共享前缀长度、并发重叠度、缓存命中率、显存峰值。你的业务请求更像“长前缀可复用”,还是“高度离散的个性化上下文”?欢迎分享真实压测里哪些模板改动最影响命中率。

...全文

相关推荐

vLLM原理与优化[代码]

vLLM是一种针对大模型推理优化的黑科技,通过动态批处理、PagedAttention和前缀共享三大关键技术,显著提升推理效率。文章详细分析了vLLM如何解决显存碎片、KV Cache管理和动态请求调度等核心问题,并对比了传统推理框架的局限性。vLLM通过分页管理KV Cache、共享相同前缀请求的KV Cache以及动态批处理机制,实现了高吞吐、高并发和高显存利用率。此外,文章还介绍了KV Cache的淘汰策略和vLLM在实际生产环境中的应用优势。最后,文章强调了学习大模型AI的重要性,并提供了相关的学习资源和路线图。

脚滑的狐狸160

vLLM PagedAttention 技术深度解析

摘要:vLLM的PagedAttention技术通过引入分页式内存管理机制,彻底革新了大语言模型推理中的键值缓存管理方式。该技术借鉴操作系统虚拟内存思想,将KV缓存划分为固定大小的物理块,通过块表实现逻辑地址映射,有效解决了传统连续分配策略导致的内存碎片化和利用率低下问题。PagedAttention不仅支持动态按需分配,还能实现跨序列的内存共享,显著提升GPU显存利用率和系统吞吐量。其专用CUDA内核通过优化数据访问模式,在保持高效注意力计算的同时,为长序列推理、多轮对话等场景带来数量级性能提升。

THS_Allen

KV Cache 显存优化实战:从注意力原理到 PagedAttention 与 KV_Catch 观测

在大语言模型推理中,KV Cache 是自回归解码时缓存历史 Key/Value 矩阵以复用计算的核心机制,其显存占用随层数、头数、序列长度和批大小线性增长,成为推理服务的头号显存杀手。传统连续缓存布局导致严重的内部碎片和无法共享前缀,而 PagedAttention 借鉴操作系统虚拟内存分页,将 KV Cache 切分为固定大小的 block 按需分配,碎片率可从 60% 以上降至 4% 以下。深入理解 KV Cache 的分配、复用与释放机制,对提升推理并发和降低延迟具有关键价值,广泛应用于高并发在线服

jeremymoo

vLLM吞吐优化核心:KV缓存、FP8量化与PagedAttention调优指南

Transformer推理中,KV缓存是影响大模型服务吞吐的关键内存瓶颈,其显存带宽占用与访问局部性直接决定实际tokens/sec上限。理解KV缓存原理,结合FP8量化(利用TMA硬件加速)和PagedAttention页大小调优,可显著提升vLLM在A100/H100等GPU上的有效带宽利用率与缓存命中率。这些技术不仅降低显存占用、缓解内存墙压力,更支撑长上下文、高并发等典型生产场景。本文聚焦vLLM部署中KV-Cache管理与底层内存拓扑协同优化,提供可落地的参数配置与监控闭环方法。

weixin_34414196

深度学习vLLM框架详解:面向大模型推理的高吞吐率引擎设计与优化技术

内容概要:vLLM是一个专为大模型推理设计的高吞吐率引擎,其核心创新在于PagedAttention和连续批处理机制。PagedAttention通过将KV缓存划分为固定大小的“块”并在GPU内存中非连续存储,减少了内存碎片,实现了高效的缓存管理。连续批处理机制则通过中央调度器动态混合多用户的解码请求,最大化GPU利用率。vLLM还支持投机式解码、分块预填充、自动前缀缓存和分布式并行等特性,显著提高了吞吐量。vLLM可通过命令行工具或Python模块启动,支持离线推理和OpenAI兼容API服务,适用于单节点多GPU和分布式部署。它还提供了多种显存优化策略,如KV缓存转换、模型权重和激活量化等。vLLM支持多种开源LLM架构,并兼容常见的权重量化方法和文件格式。 适合人群:对大模型推理优化感兴趣的开发者、研究人员和工程师,尤其是那些希望提高GPU利用率和推理效率的人群。 使用场景及目标:① 提升大模型推理的吞吐量和效率;② 实现高效的多用户请求处理和分布式部署;③ 降低显存占用,支持多种量化方法和模型格式;④ 通过OpenAI兼容API和服务无缝集成现有应用。 阅读建议:vLLM不仅是一个高性能推理引擎,更是一个集成了多种优化技术的工具,建议读者在学习过程中关注其核心机制如PagedAttention和连续批处理,并结合实际应用场景进行实践。同时,了解其启动方式、API调用和显存优化策略,有助于更好地利用该工具。

添财小哥
评论
收藏 已收藏
分享
返回顶部
张彦峰ZYF CSDN会员
张彦峰ZYF 优质创作者: Java技术领域 优质创作者: Java技术领域领域专家: 后端开发技术领域 领域专家: 后端开发技术领域
CSDN 开源社区 1,273 成员 549 内容