在 AI PC 上做本地 AI 应用开发时，如何提升模型启动速度和首 Token 响应速度？

[TED丿]

在 AI PC 上做本地 AI 应用开发时，如何提升模型启动速度和首 Token 响应速度？
 

[老杨261]

在 AI PC 上开发本地 AI 应用时，提升启动速度和首 Token 响应速度的关键包括：使用量化模型、减少模型加载时的权重解析开销、启用模型缓存、预加载必要上下文，以及优化输入预处理流程。

例如，可以在服务启动阶段提前加载模型：

python

运行

@app.on_event("startup")def load_model_once():global model_context
    model_context = GenieContext()
    model_context.load_model("model_hexagon.pte")

推理时再复用已加载的上下文，避免每次请求都重新加载模型。此外，首 Token 优化还可以关注 KV Cache 复用、prompt 截断、批处理策略和硬件调度优先级。