王伟的课程社区_NO_1
Runner 与推理进程管理——模型如何被加载和卸载
墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网
我也要 关注 + 加入社区| 课时名称 | 课时知识点 |
|---|---|
| Runner 与推理进程管理——模型如何被加载和卸载 | **定位**：理解 Ollama 运行时最关键的生命周期管理。 **核心内容**： - Runner 的职责：加载模型、接收请求、执行推理、返回 token - 模型实例复用、空闲检测和卸载策略 - 进程管理、健康检查和异常恢复 - 并发请求与模型占用的协调 - CPU/GPU 后端选择的运行时影响 **实战目标**：修改或扩展日志，观察模型冷启动、热调用、空闲卸载和异常退出后的恢复过程。 |
相关推荐
第35章：Runner与推理进程管理——模型如何被加载和卸载
Runner管理是Ollama运行时的"心脏"——不理解它，就无法真正掌控推理服务的稳定性。 1. Runner生命周期不透明：模型什么时候加载、什么时候复用、什么时候卸载——全靠猜。 2. OOM处理不可预测：显存不足时Ollama可能直接OOM、可能驱逐其他模型、可能退到CPU——行为不确定。 3. 调度器逻辑未知：多模型争抢GPU时，谁留下谁被驱逐？ 4. 子进程管理黑盒：Runner是独立进程，和主Ollama进程如何通信？
【信息科学与工程学】【通信工程】第七十九篇 Infiniband网络02
管理员通过 SM 定义分区，指定其 P_Key 和期望的成员节点（CA/交换机端口）。2.
Windows原生部署vLLM+Qwen3-8B-FP8实战指南
大语言模型推理引擎vLLM原本仅支持Linux，而FP8量化模型如Qwen3-8B-FP8凭借显存压缩与高吞吐优势，正成为端侧和企业桌面场景的关键技术选型。理解vLLM的CUDA核心编译原理、FP8张量格式与PagedAttention内存管理机制，是突破平台限制的基础；其技术价值在于摆脱容器依赖，实现Windows原生低延迟推理，支撑Excel插件、Power BI直连、Electron桌面应用等真实办公场景。本文聚焦Windows环境下从CUDA工具链配置、Visual Studio编译适配到FP8模型
【信息科学与工程学】【数据中心】第三十五篇 云计算数据中心的学科知识04
编号学科（课程）核心知识点在云计算/云存储/云网络/云安全/云MaaS中的作用代表教材/资料/论文 + 数学方程式列表工业界应用D1421云原生数据库：TiDBHTAP（混合事务/分析处理）、分布式SQL、水平扩展、强一致（Raft）、自动故障恢复、与MySQL兼容、TiFlash列式引擎提供弹性扩展的分布式数据库；支撑高并发在线交易与实时分析教材：《TiDB in Action》PingCAP（2020） 论文：《TiDB: A Raft-based HTAP Database》（2017）
OpenClaw本地财务自动化：轻量级人机协同工作流实战
财务自动化并非必须依赖云端大模型或百万级SaaS系统；其本质是将离散工具、文件与数据库按确定性规则串联执行。OpenClaw作为基于Rust的本地化智能代理框架，以‘Skill’为原子单元封装OCR识别、银行流水匹配、凭证生成等任务，通过YAML流程编排实现可审计、可追溯的桌面级自动化。它强调本地部署、数据不出域、环境兼容性强（支持Win7/Mac/群晖Docker），直击中小企业财务人员重复操作多、系统割裂、对账耗时等痛点。本文聚焦于从零部署、Skill开发到故障排查的全链路实践，覆盖发票解析→数据清洗→
