狂想曲委员会——大模型评测作业
| 项目 | 内容 |
|---|---|
| 这个作业属于哪个课程 | 福州大学计算机科学与技术专业软件工程实践 |
| 这个作业要求在哪里 | 软件工程实践——大模型评测作业 |
| 这个作业的目标 | 实现可复现的四轮购车测试,量化约束遵循、事实准确度、稳定性、延迟与用量,并分析模型接入和产品设计的取舍。 |
| 代码与实验材料 | 代码与实验材料已整理为本地提交包。项目管理入口见华为云 CodeArts 项目待办。 |
| 其他参考文献 | 《构建之法》第 8、9、12、14 章,DeepSeek API 文档、OpenAI Docs 和市场报告见文内。 |
@
目录
- 第一部分 调研与评测
- 大模型一 DeepSeek
- DeepSeek 使用体验
- DeepSeek 自动化测试
- DeepSeek 结论
- 大模型二 GPT
- ChatGPT 使用体验
- GPT 自动化测试
- GPT 结论
- 模拟用户走查
- 共同实验设计
- 数据与场景
- 四轮流程与运行次数
- 预先定义的评分
- 汇总结果
- 失败与边界案例
- 第二部分 软件工程分析
- 程序、软件与商业模式
- 开发时间估计
- 同类产品对比与选型
- 软件工程建议与 BUG 原因分析
- 市场概况
- 产品规划与现实影响
第一部分 调研与评测
购车对话最容易出问题的地方,是用户改了一个条件以后,助手忘了其余条件。比如把纯电改成插混时,18 万元预算仍有效。同一车名下也可能有六座和七座配置,选对车名依然可能选错配置。因此,我把最终决策拆成候选、约束更新、对比表和推荐四轮,用配置 ID 追踪同一辆车。
大模型一 DeepSeek
DeepSeek 使用体验
DeepSeek 提供中文网页对话及独立的 API 开放平台。对购车任务,网页使用重点是新建对话、追加预算或座位条件、对比更新前后的车型。深度思考可作为用户显式选择,适合需要展开比较的对话。车型库覆盖和价格时效取决于网页所使用的数据来源。界面上的推理开关也无法说明某一条车型价格的采集口径。DeepSeek 官网、网页和模型更新说明
网页走查采用两轮相同任务。第一轮给 18 万元预算、市区通勤和周末家庭出游需求,要求列两至三款具体配置及价格口径。第二轮追加至少七座,核对旧预算是否仍生效、候选是否换成七座,以及表格能否追溯配置。当前缺少亲测截图与原始回答,以上是产品功能梳理和走查设计。
建议把预算和座位要求显示为可编辑字段,并在推荐表中按配置展示核验日期。这样用户能直接看出第二轮改了哪个条件。
DeepSeek 自动化测试
官方 Chat Completions 接口请求 deepseek-flash。查阅时官方将该 ID 对应到 DeepSeek-V4.1-Flash-1017。请求启用思考,reasoning_effort=low,输出上限设置为 2048 Token。DeepSeek 思考模式的温度由服务控制。本实验传递用户消息和可见回复,无工具调用。模型与价格、思考模式
DeepSeek 结论
当前没有四轮完整样本,购车任务表现暂无法判断。
大模型二 GPT
ChatGPT 使用体验
ChatGPT 网页版可用自然语言追加限制、要求以表格重写结果,也提供搜索等功能入口。购车对话里,表格有助于横向比较。一个需要检验的界面问题是:车型参数、来源和待核实信息如果散在回答不同位置,用户复核时需要来回查找。功能是否可用及默认网页模型取决于实际账号与界面。ChatGPT 产品介绍
网页走查沿用同一套两轮提示。重点检查把“七座”加为硬约束后,回答能否同时保留 18 万元、列出配置、说明价格是指导价还是落地价,以及指出哪些信息仍待核实。当前缺少亲测截图与原始回答。产品建议是在表格对应行直接显示价格类型和来源,用户从一行就能核验一款车。
GPT 自动化测试
官方 Chat Completions 接口请求固定快照 gpt-5.4-mini-2026-03-17,配置 reasoning_effort=none、temperature=0.2、max_completion_tokens=2048。该快照在关闭推理的配置下参与通用对话组。两家的推理模式、温度和 Token 分词口径不同,比较针对实际配置组合。网页端产品体验与 API 样本分别记录。OpenAI Docs · GPT-5.4 Mini、OpenAI Docs · Chat Completions
GPT 结论
当前没有四轮完整样本,购车任务表现暂无法判断。
模拟用户走查

图为两轮测试步骤与人工核对项的示意。网页体验截图和完整的两轮回复记录尚缺。
设定一个需要每周载六位家人的用户,从新建会话、输入初始需求、增加七座约束,到核验配置和价格完成一遍任务。预计最难辨认的是同名的六座、七座版本,以及回答中“18 万元”的价格口径。走查时可以检查用户能否从推荐表直接判断一款车合不合格,并定位需要问经销商的问题。此处为假设场景。本次未开展真人访谈。
共同实验设计
数据与场景
两家收到同一份 catalog.json、同一套系统提示与四轮用户消息。车型库由 11 个虚构配置组成,2026 年 11 月 11 日编制,涵盖 2025/2026 款。价格为模拟厂商指导价,单位为万元人民币。续航为标称纯电续航,单位 km,插混只记录纯电部分,燃油车记 null。座位数单位为座。AEB、ACC、BSD 分别表示自动紧急制动、自适应巡航、盲区监测。自动化测试关闭联网和外部工具,车型事实以固定库为依据。
| 场景 | 第一轮需求 | 第二轮约束 | 运行前固定的合格集合 |
|---|---|---|---|
| 城市通勤 | 预算 ≤15 万元,纯电 | 增加标称续航 ≥400 km | E02、E03。E02 刚好触及两条阈值,E01 续航不足,E04 超预算。 |
| 家庭出游 | 预算 ≤20 万元,动力不限 | 增加至少七座 | P02、G01。P03 是同名六座版,E05 七座但超预算。 |
| 跨城通勤 | 预算 ≤18 万元,只考虑纯电 | 动力改成只考虑插混,预算继续生效 | P01、P02、P03。P04 超预算 0.1 万元,先前的纯电候选出局。 |
四轮流程与运行次数
第一轮输出最多三款初步候选。第二轮补充或替换硬约束,并列出所有合格配置。第三轮为更新后的候选输出 JSON 结构化对比表,包含价格、续航、座位、配置、安全等九个字段。第四轮输出一个车型 ID 和一句推荐理由。程序保存原始可见回复、解析结果和每轮状态。每次启动新任务时重建消息列表,单次任务内逐轮追加用户消息与助手回复。
计划两模型 × 三场景 × 三次,共 18 次四轮任务、72 次请求。各平台串行完成自身任务,两家可并行。每轮网络 I/O 超时参数为 75 秒,默认不重试。HTTP 错误会记录在逐轮日志,配置、鉴权或额度类错误会停止该平台后续调用。
response = request(messages, scenario, turn)
answer = parse_object(response.get("raw"))
# 写入逐轮日志后,在同一任务内接续对话。
messages.append({"role": "assistant", "content": response["raw"]})
replies.append(answer)
预先定义的评分
| 指标 | 单次任务判定 | 汇总口径 |
|---|---|---|
| 准确度 | 最终推荐 ID 在第二轮后的合格集合中得 100,否则得 0。集合内任意配置均可。 | 完整四轮任务的平均分 |
| 多轮一致性 | 平均三项二值检查:第二轮候选与合格集合完全一致,第三轮表格对应第二轮候选,最终 ID 同时出现在候选和表格中。 | 完整任务平均分 |
| 指令遵循 | 四轮各占 25 分。检查严格 JSON 对象、规定字段、候选数量与重复、表格字段完整性、理由是否非空。 | 完整任务平均分 |
| 事实核对 | 分子为车型库命中的推荐引用数加逐字段匹配的单元格数。分母为两轮候选引用数、一个最终引用及表格应核对的单元格数。表格行数分母取实际行数和预期行数的较大值,重复行和未知车型行计零。 | 完整任务比率的均值 |
| 综合质量 | 上面四个质量指标等权平均。 | 完整任务平均分 |
| 成功率与稳定性 | 严格成功需通过全部四轮检查,且候选不得违反当前轮硬约束。成功率和完成率的分母均为实际尝试次数。每个场景计算综合质量的总体标准差,至少两份完整样本才显示。 | 每模型总体及每场景 |
| 耗时和用量 | 四轮请求的耗时之和与接口报告的输入、输出、总 Token 之和。某轮缺用量时该任务从对应列排除。 | 完整且有记录的任务均值,逐列注明 n |
自由文本理由只检查非空,事实评分覆盖结构化字段与车型 ID。软偏好、推荐理由的说服力和现实市场报价留给人工复核。Token 是用量指标,计费还取决于缓存命中、平台单价与计费时段。
汇总结果
质量指标满分 100,完成率和成功率以百分数表示。短横线表示当前没有可计算样本。
当前缺少两家 API 凭据,实际发出 0 次请求,完整任务为 0 次。
| 模型 | 完整/尝试/计划(次) | 质量评分 | 耗时 | Token |
|---|---|---|---|---|
| DeepSeek | 0/0/9 | — | — | — |
| GPT | 0/0/9 | — | — | — |
失败与边界案例
以下来自评分器的离线回归样例。预置错误用于验证判定逻辑,模型表现等真实日志到齐后再评价。
- 混淆同名配置的座位数。
fixture-family-01第 3 轮仍使用合法 IDP02,表格却把七座写成六座。事实核对为 23/24,任务判失败。评分器在第 3 轮记录了错误字段、实际值和真值,能定位到配置级差异。 - 更新候选正确,最终推荐回到旧动力。
fixture-intercity-01第 2 轮正确输出三款插混,第 4 轮却选E02。该 ID 在车型库中真实存在,但不满足更新后的动力约束。准确度为 0,多轮一致性为 2/3,结构化事实核对仍满分。这个例子说明车型存在性和当前需求合规性需要分别检查。
第二部分 软件工程分析
程序、软件与商业模式
| 层次 | 本次对应的设计 |
|---|---|
| 程序 | 车型库以配置 ID 建索引,候选集合用集合运算核对。任务是四轮状态流程,严格解析 JSON 后再逐字段比较。模型端将上下文编码后生成回复。DeepSeek 官方公开了模型架构报告,GPT 在这里通过黑箱接口观察。 |
| 软件工程 | 平台用 API、鉴权、版本文档和计量接口对外服务。测试端统一请求语义、保留平台参数差异,按任务与轮次记日志,用同一份数据重复回归。GPT 快照固定版本,DeepSeek 别名须结合测试日期和响应标识追踪。 |
| 商业 | DeepSeek 有开放权重和按 Token 付费的托管服务,并对缓存命中和高低峰设置费率。OpenAI 提供按量 API 和面向个人、团队、企业的 ChatGPT 产品。对于业务方,调用单价之外还要估算核验、失败回退和维护成本。 |
DeepSeek 版本公告与开放权重、DeepSeek API 计费、OpenAI Docs · GPT-5.4 Mini 计费、ChatGPT 价格
开发时间估计
估算对象为一个面向用户的购车原型,包含可编辑需求、车型数据版本、两家 API 适配、核验和日志。假设已有可用的车型数据、账号和部署环境,一名开发者可完成下列工作。
| 工作包 | 人时 | 验收条件 |
|---|---|---|
| 需求、数据口径与场景 | 5 | 明确预算口径和配置唯一 ID |
| 对话状态与双平台适配 | 8 | 需求替换与鉴权异常有可复现记录 |
| 硬约束过滤、表格与引用 | 8 | 表格逐行关联车型配置,空候选有反馈 |
| 评测、错误注入和结果展示 | 7 | 自动生成逐轮日志、分数、图表 |
| 前端走查与交付 | 5 | 用户可以修改约束并复核每条候选 |
| 联调缓冲 | 7 | 覆盖接口变化、数据异常及重测 |
| 合计 | 40 | 约 5 个工作日,按每天 8 小时估计 |
真实报价的数据授权、城市优惠和刷新任务需单独估时。若数据更新有依赖,先用固定版本验证流程,再接报价源。
同类产品对比与选型
当前无法依据实测结果比较两家模型。若产品要解释复杂的需求变更,可验证 DeepSeek 思考配置的约束保持能力。若产品偏重快速生成结构化表格,可验证 GPT 关闭推理时的耗时与格式通过率。两类需求均以硬约束合规为准入条件,再比较延迟和用量。
测试范围是固定车型库、三个购车场景和两组配置。每个场景即使完成三次也只是小样本,稳定性只能作初步观察。
软件工程建议与 BUG 原因分析
对照第一部分案例,座位字段错误需要先比对原始 JSON、解析结果和车型库。如果原文和解析均写六座,排查重点在生成和配置引用。如果原文写七座而程序读成六座,则查解析和字段映射。动力条件错误应查需求更新是否真正进入上下文,以及第四轮是否有对候选集合的校验。模型内部成因只能提出假设。接口未返回内容、被限流或超时属于调用链故障,日志应保留状态并避免归因到模型质量。
| 方案 | 实现 | 取舍 |
|---|---|---|
| 规则校验与数据回填 | 用结构化需求维护预算、动力、座位和续航。程序过滤合法 ID 并从库中回填参数,模型在合法集合内生成推荐理由。 | 阈值和配置可单测。需要维护需求结构并处理用户歧义。 |
| 强化提示与二次自检 | 由模型先复述当前约束并生成表格,再调用一次模型检查候选和理由。 | 改动较小,额外请求增加延迟和用量。生成和自检可能重复同一个配置错误。 |
我会选规则校验与数据回填。它可以在输出前直接拦截六座、超预算与旧动力候选。验证时复跑同一批任务,同时增加“刚好等于预算”“没有合格车”“用户撤销上一条限制”“接口半途超时”四类回归。以展示层硬约束违规率、字段错误率、空结果提示正确率和每任务耗时作为验收依据。
市场概况
- 模型 API 与 MaaS。 IDC 统计 2026 年上半年中国 MaaS 收入为 106.3 亿元人民币,同比增长 889.4%。其中大语言模型收入占 47.0%,据此粗算约 50.0 亿元。该口径对应 IDC 所跟踪市场,覆盖范围大于纯文本购车业务。IDC 中国 AI 软件市场追踪
- 智能体市场。 Grand View Research 估算 2026 年全球 AI Agent 市场为 109 亿美元,预计 2033 年约 1,829 亿美元,预测年复合增长率为 49.6%。这是全球多行业口径,和国内 MaaS 收入各自衡量不同市场范围。Grand View Research
- 直接用户与潜在用户。 API 的直接使用者是接入模型的开发团队和企业。OpenAI 企业页披露超过 200 万商业客户,包含平台的广义商业用户。GitHub Octoverse 2025 统计开发者超过 1.8 亿,可作为开发者生态量级。CNNIC 报告 2025 年末中国生成式 AI 用户为 6.02 亿,是消费端使用规模的参考。购车助手早期用户应从实际车型查询和比价会话识别。三个口径有重叠,无法相加得到购车用户规模。OpenAI 企业客户、GitHub Octoverse 2025、CNNIC 第 57 次报告
产品规划与现实影响
| NABCD | 购车决策功能 |
|---|---|
| N 需求 | 家庭用户希望在预算和载人需求都满足时,知道哪些具体配置值得进一步询价。 |
| A 做法 | 做一张可编辑的需求卡,显示预算口径和各条硬约束。约束修改后展示候选变化,每条结果挂配置 ID、报价日期和来源。无匹配时提示卡住的约束。 |
| B 收益 | 用户能核验筛选依据,少查同名配置和重复报价。用找出合格车所需时间、约束错误率和来源可追溯率做验证。 |
| C 竞争 | 汽车垂直站擅长参数筛选,通用聊天产品擅长表达复杂需求。该功能把自然语言的条件更新落到可复查的候选列表上。 |
| D 推广 | 第一版先接车型库和人工报价核验。通过后尝试接入汽车内容站和经销商的小规模试点,按真实会话反馈决定是否接地图、试驾或报价服务。 |
大模型能缩短从模糊意图到形成核验清单的时间。购车涉及预算、配置、保险和使用成本,一张写得顺的表可能让用户忽略这些参数的来源和日期。产品应该让人能在试驾或询价之前核对关键证据,并能随时修正自己的需求。
相关推荐
大模型评测方法[项目代码]
大模型评测方法旨在全面评估大模型的能力与风险,涵盖评测指标、数据集、方法和工具等关键要素。评测不仅验证模型在特定任务上的性能和泛化能力,还关注其安全性和隐私保护,防范潜在风险。评测面临范围广、工作量大、数据标注复杂等挑战,需根据模型特点和应用场景制定策略。大模型分类多样,包括按功能、架构、应用领域、规模、训练方式和所有权划分,不同分类的评测方法各异。评测体系的建立有助于指导评测实践,确保结果真实反映模型能力,为用户和开发者提供决策依据。
大模型评测工具概述[项目源码]
本文详细介绍了大模型评测过程中所需的各类工具,包括评测框架套件、评测平台及独立评测工具。评测框架套件如LLMeBench,支持数据集管理、模型库管理、API管理等多项功能,涵盖数据加载、提示工程、模型执行、后处理及结果评估模块。评测平台以OpenCompass为例,提供丰富数据集及模型对比功能。独立评测工具则包括性能评测工具(如PyTorch的torchmetrics、TensorFlow的tf.keras.metrics及Scikit-learn的评估指标)、数据处理工具(如Scrapy、Pandas、NLTK和spaCy)以及模型可视化工具(如TensorBoard和Netron)。这些工具为大模型评测提供了全面的支持,帮助用户高效完成评测任务。
大模型评测基准汇总[代码]
本文详细介绍了大模型评测的通用评测基准和具体评测基准。通用评测基准包括SuperCLUE、C-Eval、Open LLM Leaderboard、Chatbot Arena和GLUE,这些基准通过多数据集和多任务全面评估大模型的能力。具体评测基准则针对特定能力,如MMLU评测语言理解能力,AGI Eval评测人类认知能力,GSM8K评测数学推理能力,MT-bench评测多轮对话能力,PromptBench评测对抗性提示的鲁棒性。文章还总结了当前大模型排行榜情况,并提供了学习大模型的系统资源,包括路线图、书籍、视频教程、项目实战和面试题。
SuperBench大模型综合能力评测报告 0412 v2.2.pdf
如有侵权,私信联系删除
大模型评测体系构建:自动评测、人工评测与业务效果评估.md
基础原理、核心架构、数据预处理、分布式训练、微调/量化/压缩技术,到RAG、Agent应用开发、多模态实现、高可用服务部署、安全合规、垂直领域定制、成本优化、MLOps全生命周期管理等全链路内容,面向算法、开发工程师,助力体系化掌握大模型从研发到落地的全流程能力。


