并发请求治理——排队、取消与超时控制

[davidwang456]

课时名称	课时知识点
并发请求治理——排队、取消与超时控制	**定位**：解决多人同时使用时的卡顿和雪崩。 **核心内容**： - 并发推理的资源瓶颈：CPU、GPU、内存、上下文长度 - 应用侧队列与优先级 - 超时、取消、重试的正确边界 - 流式请求中断与资源释放 - 用户体验：排队位置、预计等待时间、降级回答 **实战目标**：开发一个 Ollama 调用网关，支持请求队列、超时取消、最大并发限制和优先级任务。