评测体系建设——模型效果如何量化

[davidwang456]

课时名称	课时知识点
评测体系建设——模型效果如何量化	**定位**：让模型选型和 Prompt 改动有数据依据。 **核心内容**： - 评测集设计：事实问答、业务流程、代码任务、拒答样例 - 自动评分与人工评分结合 - LLM-as-judge 的风险与校准 - 回归测试：模型升级、Prompt 修改、参数变更 - 评测报告：质量、速度、成本、稳定性 **实战目标**：搭建一个模型评测流水线，对 3 个模型和 2 个 Prompt 版本进行自动化回归测试。