狂想曲委员会——大模型评测作业

狂想曲委员会 狂想曲委员会 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
项目内容
这个作业属于哪个课程福州大学计算机科学与技术专业软件工程实践
这个作业要求在哪里软件工程实践——大模型评测作业
这个作业的目标实现可复现的四轮购车测试,量化约束遵循、事实准确度、稳定性、延迟与用量,并分析模型接入和产品设计的取舍。
代码与实验材料代码与实验材料已整理为本地提交包。项目管理入口见华为云 CodeArts 项目待办。
其他参考文献《构建之法》第 8、9、12、14 章,DeepSeek API 文档、OpenAI Docs 和市场报告见文内。

@

目录

  • 第一部分 调研与评测
  • 大模型一 DeepSeek
  • DeepSeek 使用体验
  • DeepSeek 自动化测试
  • DeepSeek 结论
  • 大模型二 GPT
  • ChatGPT 使用体验
  • GPT 自动化测试
  • GPT 结论
  • 模拟用户走查
  • 共同实验设计
  • 数据与场景
  • 四轮流程与运行次数
  • 预先定义的评分
  • 汇总结果
  • 失败与边界案例
  • 第二部分 软件工程分析
  • 程序、软件与商业模式
  • 开发时间估计
  • 同类产品对比与选型
  • 软件工程建议与 BUG 原因分析
  • 市场概况
  • 产品规划与现实影响

第一部分 调研与评测

购车对话最容易出问题的地方,是用户改了一个条件以后,助手忘了其余条件。比如把纯电改成插混时,18 万元预算仍有效。同一车名下也可能有六座和七座配置,选对车名依然可能选错配置。因此,我把最终决策拆成候选、约束更新、对比表和推荐四轮,用配置 ID 追踪同一辆车。

大模型一 DeepSeek

DeepSeek 使用体验

DeepSeek 提供中文网页对话及独立的 API 开放平台。对购车任务,网页使用重点是新建对话、追加预算或座位条件、对比更新前后的车型。深度思考可作为用户显式选择,适合需要展开比较的对话。车型库覆盖和价格时效取决于网页所使用的数据来源。界面上的推理开关也无法说明某一条车型价格的采集口径。DeepSeek 官网、网页和模型更新说明

网页走查采用两轮相同任务。第一轮给 18 万元预算、市区通勤和周末家庭出游需求,要求列两至三款具体配置及价格口径。第二轮追加至少七座,核对旧预算是否仍生效、候选是否换成七座,以及表格能否追溯配置。当前缺少亲测截图与原始回答,以上是产品功能梳理和走查设计。

建议把预算和座位要求显示为可编辑字段,并在推荐表中按配置展示核验日期。这样用户能直接看出第二轮改了哪个条件。

DeepSeek 自动化测试

官方 Chat Completions 接口请求 deepseek-flash。查阅时官方将该 ID 对应到 DeepSeek-V4.1-Flash-1017。请求启用思考,reasoning_effort=low,输出上限设置为 2048 Token。DeepSeek 思考模式的温度由服务控制。本实验传递用户消息和可见回复,无工具调用。模型与价格、思考模式

DeepSeek 结论

当前没有四轮完整样本,购车任务表现暂无法判断。

大模型二 GPT

ChatGPT 使用体验

ChatGPT 网页版可用自然语言追加限制、要求以表格重写结果,也提供搜索等功能入口。购车对话里,表格有助于横向比较。一个需要检验的界面问题是:车型参数、来源和待核实信息如果散在回答不同位置,用户复核时需要来回查找。功能是否可用及默认网页模型取决于实际账号与界面。ChatGPT 产品介绍

网页走查沿用同一套两轮提示。重点检查把“七座”加为硬约束后,回答能否同时保留 18 万元、列出配置、说明价格是指导价还是落地价,以及指出哪些信息仍待核实。当前缺少亲测截图与原始回答。产品建议是在表格对应行直接显示价格类型和来源,用户从一行就能核验一款车。

GPT 自动化测试

官方 Chat Completions 接口请求固定快照 gpt-5.4-mini-2026-03-17,配置 reasoning_effort=none、temperature=0.2、max_completion_tokens=2048。该快照在关闭推理的配置下参与通用对话组。两家的推理模式、温度和 Token 分词口径不同,比较针对实际配置组合。网页端产品体验与 API 样本分别记录。OpenAI Docs · GPT-5.4 Mini、OpenAI Docs · Chat Completions

GPT 结论

当前没有四轮完整样本,购车任务表现暂无法判断。

模拟用户走查

DeepSeek 与 ChatGPT 的两轮购车网页走查流程示意

图为两轮测试步骤与人工核对项的示意。网页体验截图和完整的两轮回复记录尚缺。

设定一个需要每周载六位家人的用户,从新建会话、输入初始需求、增加七座约束,到核验配置和价格完成一遍任务。预计最难辨认的是同名的六座、七座版本,以及回答中“18 万元”的价格口径。走查时可以检查用户能否从推荐表直接判断一款车合不合格,并定位需要问经销商的问题。此处为假设场景。本次未开展真人访谈。

共同实验设计

数据与场景

两家收到同一份 catalog.json、同一套系统提示与四轮用户消息。车型库由 11 个虚构配置组成,2026 年 11 月 11 日编制,涵盖 2025/2026 款。价格为模拟厂商指导价,单位为万元人民币。续航为标称纯电续航,单位 km,插混只记录纯电部分,燃油车记 null。座位数单位为座。AEB、ACC、BSD 分别表示自动紧急制动、自适应巡航、盲区监测。自动化测试关闭联网和外部工具,车型事实以固定库为依据。

场景第一轮需求第二轮约束运行前固定的合格集合
城市通勤预算 ≤15 万元,纯电增加标称续航 ≥400 kmE02、E03。E02 刚好触及两条阈值,E01 续航不足,E04 超预算。
家庭出游预算 ≤20 万元,动力不限增加至少七座P02、G01。P03 是同名六座版,E05 七座但超预算。
跨城通勤预算 ≤18 万元,只考虑纯电动力改成只考虑插混,预算继续生效P01、P02、P03。P04 超预算 0.1 万元,先前的纯电候选出局。

四轮流程与运行次数

第一轮输出最多三款初步候选。第二轮补充或替换硬约束,并列出所有合格配置。第三轮为更新后的候选输出 JSON 结构化对比表,包含价格、续航、座位、配置、安全等九个字段。第四轮输出一个车型 ID 和一句推荐理由。程序保存原始可见回复、解析结果和每轮状态。每次启动新任务时重建消息列表,单次任务内逐轮追加用户消息与助手回复。

计划两模型 × 三场景 × 三次,共 18 次四轮任务、72 次请求。各平台串行完成自身任务,两家可并行。每轮网络 I/O 超时参数为 75 秒,默认不重试。HTTP 错误会记录在逐轮日志,配置、鉴权或额度类错误会停止该平台后续调用。

response = request(messages, scenario, turn)
answer = parse_object(response.get("raw"))
# 写入逐轮日志后,在同一任务内接续对话。
messages.append({"role": "assistant", "content": response["raw"]})
replies.append(answer)

预先定义的评分

指标单次任务判定汇总口径
准确度最终推荐 ID 在第二轮后的合格集合中得 100,否则得 0。集合内任意配置均可。完整四轮任务的平均分
多轮一致性平均三项二值检查:第二轮候选与合格集合完全一致,第三轮表格对应第二轮候选,最终 ID 同时出现在候选和表格中。完整任务平均分
指令遵循四轮各占 25 分。检查严格 JSON 对象、规定字段、候选数量与重复、表格字段完整性、理由是否非空。完整任务平均分
事实核对分子为车型库命中的推荐引用数加逐字段匹配的单元格数。分母为两轮候选引用数、一个最终引用及表格应核对的单元格数。表格行数分母取实际行数和预期行数的较大值,重复行和未知车型行计零。完整任务比率的均值
综合质量上面四个质量指标等权平均。完整任务平均分
成功率与稳定性严格成功需通过全部四轮检查,且候选不得违反当前轮硬约束。成功率和完成率的分母均为实际尝试次数。每个场景计算综合质量的总体标准差,至少两份完整样本才显示。每模型总体及每场景
耗时和用量四轮请求的耗时之和与接口报告的输入、输出、总 Token 之和。某轮缺用量时该任务从对应列排除。完整且有记录的任务均值,逐列注明 n

自由文本理由只检查非空,事实评分覆盖结构化字段与车型 ID。软偏好、推荐理由的说服力和现实市场报价留给人工复核。Token 是用量指标,计费还取决于缓存命中、平台单价与计费时段。

汇总结果

质量指标满分 100,完成率和成功率以百分数表示。短横线表示当前没有可计算样本。

当前缺少两家 API 凭据,实际发出 0 次请求,完整任务为 0 次。

模型完整/尝试/计划(次)质量评分耗时Token
DeepSeek0/0/9———
GPT0/0/9———

失败与边界案例

以下来自评分器的离线回归样例。预置错误用于验证判定逻辑,模型表现等真实日志到齐后再评价。

  • 混淆同名配置的座位数。 fixture-family-01 第 3 轮仍使用合法 ID P02,表格却把七座写成六座。事实核对为 23/24,任务判失败。评分器在第 3 轮记录了错误字段、实际值和真值,能定位到配置级差异。
  • 更新候选正确,最终推荐回到旧动力。 fixture-intercity-01 第 2 轮正确输出三款插混,第 4 轮却选 E02。该 ID 在车型库中真实存在,但不满足更新后的动力约束。准确度为 0,多轮一致性为 2/3,结构化事实核对仍满分。这个例子说明车型存在性和当前需求合规性需要分别检查。

第二部分 软件工程分析

程序、软件与商业模式

层次本次对应的设计
程序车型库以配置 ID 建索引,候选集合用集合运算核对。任务是四轮状态流程,严格解析 JSON 后再逐字段比较。模型端将上下文编码后生成回复。DeepSeek 官方公开了模型架构报告,GPT 在这里通过黑箱接口观察。
软件工程平台用 API、鉴权、版本文档和计量接口对外服务。测试端统一请求语义、保留平台参数差异,按任务与轮次记日志,用同一份数据重复回归。GPT 快照固定版本,DeepSeek 别名须结合测试日期和响应标识追踪。
商业DeepSeek 有开放权重和按 Token 付费的托管服务,并对缓存命中和高低峰设置费率。OpenAI 提供按量 API 和面向个人、团队、企业的 ChatGPT 产品。对于业务方,调用单价之外还要估算核验、失败回退和维护成本。

DeepSeek 版本公告与开放权重、DeepSeek API 计费、OpenAI Docs · GPT-5.4 Mini 计费、ChatGPT 价格

开发时间估计

估算对象为一个面向用户的购车原型,包含可编辑需求、车型数据版本、两家 API 适配、核验和日志。假设已有可用的车型数据、账号和部署环境,一名开发者可完成下列工作。

工作包人时验收条件
需求、数据口径与场景5明确预算口径和配置唯一 ID
对话状态与双平台适配8需求替换与鉴权异常有可复现记录
硬约束过滤、表格与引用8表格逐行关联车型配置,空候选有反馈
评测、错误注入和结果展示7自动生成逐轮日志、分数、图表
前端走查与交付5用户可以修改约束并复核每条候选
联调缓冲7覆盖接口变化、数据异常及重测
合计40约 5 个工作日,按每天 8 小时估计

真实报价的数据授权、城市优惠和刷新任务需单独估时。若数据更新有依赖,先用固定版本验证流程,再接报价源。

同类产品对比与选型

当前无法依据实测结果比较两家模型。若产品要解释复杂的需求变更,可验证 DeepSeek 思考配置的约束保持能力。若产品偏重快速生成结构化表格,可验证 GPT 关闭推理时的耗时与格式通过率。两类需求均以硬约束合规为准入条件,再比较延迟和用量。

测试范围是固定车型库、三个购车场景和两组配置。每个场景即使完成三次也只是小样本,稳定性只能作初步观察。

软件工程建议与 BUG 原因分析

对照第一部分案例,座位字段错误需要先比对原始 JSON、解析结果和车型库。如果原文和解析均写六座,排查重点在生成和配置引用。如果原文写七座而程序读成六座,则查解析和字段映射。动力条件错误应查需求更新是否真正进入上下文,以及第四轮是否有对候选集合的校验。模型内部成因只能提出假设。接口未返回内容、被限流或超时属于调用链故障,日志应保留状态并避免归因到模型质量。

方案实现取舍
规则校验与数据回填用结构化需求维护预算、动力、座位和续航。程序过滤合法 ID 并从库中回填参数,模型在合法集合内生成推荐理由。阈值和配置可单测。需要维护需求结构并处理用户歧义。
强化提示与二次自检由模型先复述当前约束并生成表格,再调用一次模型检查候选和理由。改动较小,额外请求增加延迟和用量。生成和自检可能重复同一个配置错误。

我会选规则校验与数据回填。它可以在输出前直接拦截六座、超预算与旧动力候选。验证时复跑同一批任务,同时增加“刚好等于预算”“没有合格车”“用户撤销上一条限制”“接口半途超时”四类回归。以展示层硬约束违规率、字段错误率、空结果提示正确率和每任务耗时作为验收依据。

市场概况

  • 模型 API 与 MaaS。 IDC 统计 2026 年上半年中国 MaaS 收入为 106.3 亿元人民币,同比增长 889.4%。其中大语言模型收入占 47.0%,据此粗算约 50.0 亿元。该口径对应 IDC 所跟踪市场,覆盖范围大于纯文本购车业务。IDC 中国 AI 软件市场追踪
  • 智能体市场。 Grand View Research 估算 2026 年全球 AI Agent 市场为 109 亿美元,预计 2033 年约 1,829 亿美元,预测年复合增长率为 49.6%。这是全球多行业口径,和国内 MaaS 收入各自衡量不同市场范围。Grand View Research
  • 直接用户与潜在用户。 API 的直接使用者是接入模型的开发团队和企业。OpenAI 企业页披露超过 200 万商业客户,包含平台的广义商业用户。GitHub Octoverse 2025 统计开发者超过 1.8 亿,可作为开发者生态量级。CNNIC 报告 2025 年末中国生成式 AI 用户为 6.02 亿,是消费端使用规模的参考。购车助手早期用户应从实际车型查询和比价会话识别。三个口径有重叠,无法相加得到购车用户规模。OpenAI 企业客户、GitHub Octoverse 2025、CNNIC 第 57 次报告

产品规划与现实影响

NABCD购车决策功能
N 需求家庭用户希望在预算和载人需求都满足时,知道哪些具体配置值得进一步询价。
A 做法做一张可编辑的需求卡,显示预算口径和各条硬约束。约束修改后展示候选变化,每条结果挂配置 ID、报价日期和来源。无匹配时提示卡住的约束。
B 收益用户能核验筛选依据,少查同名配置和重复报价。用找出合格车所需时间、约束错误率和来源可追溯率做验证。
C 竞争汽车垂直站擅长参数筛选,通用聊天产品擅长表达复杂需求。该功能把自然语言的条件更新落到可复查的候选列表上。
D 推广第一版先接车型库和人工报价核验。通过后尝试接入汽车内容站和经销商的小规模试点,按真实会话反馈决定是否接地图、试驾或报价服务。

大模型能缩短从模糊意图到形成核验清单的时间。购车涉及预算、配置、保险和使用成本,一张写得顺的表可能让用户忽略这些参数的来源和日期。产品应该让人能在试驾或询价之前核对关键证据,并能随时修正自己的需求。

...全文

相关推荐

大模型评测方法[项目代码]

大模型评测方法旨在全面评估大模型的能力与风险,涵盖评测指标、数据集、方法和工具等关键要素。评测不仅验证模型在特定任务上的性能和泛化能力,还关注其安全性和隐私保护,防范潜在风险。评测面临范围广、工作量大、数据标注复杂等挑战,需根据模型特点和应用场景制定策略。大模型分类多样,包括按功能、架构、应用领域、规模、训练方式和所有权划分,不同分类的评测方法各异。评测体系的建立有助于指导评测实践,确保结果真实反映模型能力,为用户和开发者提供决策依据。

hill8

大模型评测工具概述[项目源码]

本文详细介绍了大模型评测过程中所需的各类工具,包括评测框架套件、评测平台及独立评测工具。评测框架套件如LLMeBench,支持数据集管理、模型库管理、API管理等多项功能,涵盖数据加载、提示工程、模型执行、后处理及结果评估模块。评测平台以OpenCompass为例,提供丰富数据集及模型对比功能。独立评测工具则包括性能评测工具(如PyTorch的torchmetrics、TensorFlow的tf.keras.metrics及Scikit-learn的评估指标)、数据处理工具(如Scrapy、Pandas、NLTK和spaCy)以及模型可视化工具(如TensorBoard和Netron)。这些工具为大模型评测提供了全面的支持,帮助用户高效完成评测任务。

Star

大模型评测基准汇总[代码]

本文详细介绍了大模型评测的通用评测基准和具体评测基准。通用评测基准包括SuperCLUE、C-Eval、Open LLM Leaderboard、Chatbot Arena和GLUE,这些基准通过多数据集和多任务全面评估大模型的能力。具体评测基准则针对特定能力,如MMLU评测语言理解能力,AGI Eval评测人类认知能力,GSM8K评测数学推理能力,MT-bench评测多轮对话能力,PromptBench评测对抗性提示的鲁棒性。文章还总结了当前大模型排行榜情况,并提供了学习大模型的系统资源,包括路线图、书籍、视频教程、项目实战和面试题。

quiet

SuperBench大模型综合能力评测报告 0412 v2.2.pdf

如有侵权,私信联系删除

猫头虎

大模型评测体系构建:自动评测、人工评测与业务效果评估.md

基础原理、核心架构、数据预处理、分布式训练、微调/量化/压缩技术,到RAG、Agent应用开发、多模态实现、高可用服务部署、安全合规、垂直领域定制、成本优化、MLOps全生命周期管理等全链路内容,面向算法、开发工程师,助力体系化掌握大模型从研发到落地的全流程能力。

码狸_CodeTanuki
评论
收藏 已收藏
分享
返回顶部