软件工程实践——大模型评测作业：让两个大模型替我选一辆车

项目	内容
这个作业属于哪个课程	202601 福大-软件工程实践-W 班
这个作业要求在哪里	软件工程实践——大模型评测作业
这个作业的目标	用自动化脚本完成 18 次多轮购车决策任务，量化对比两个大模型，并完成产品与工程分析
学号-姓名	102400133 詹志瑜、102400125 苏林、102400119 林俊杰、102400134 郑伟航、102400136 邹毅轩、102400325 邱宁华、102400118 林嘉祚、102400131 姚浩然
代码仓库	华为云 CodeArts Repo · 大模型评测/

车型价格、配置、保值率为教学模拟数据（快照 2026-11-01），不代表真实市场报价

目录

• 0. 写在前面
• 第一部分 调研，评测
  • 1.1 实验设计
  • 1.2 大模型 1：Qwen3.8-Max
  • 1.3 大模型 2：DeepSeek-V4-Pro
  • 1.4 横向对比
  • 1.5 失败与边界案例
  • 1.6 用户采访
  • 1.7 体验与改进意见
  • 1.8 大模型对现实生活的影响
• 第二部分 分析
  • 2.1 程序、软件工程、商业三层
  • 2.2 开发时间估计
  • 2.3 同类产品对比与选型
  • 2.4 软件工程建议与 BUG 原因
  • 2.5 市场概况
  • 2.6 产品规划（NABCD）
  • 2.7 90 天计划
• 第三部分 总结与反思
• 附录：代码与材料

0. 写在前面

大模型都会“聊车”，但真实购车是一串硬约束：预算是指导价还是落地价？老小区 4.8 米车位能不能停？六口人 5 座够不够？第 5 轮改了预算，前面的结论还算不算？

这次作业把这些问题做成固定题库：2 个模型 × 3 个场景 × 3 次独立运行 = 18 次完整多轮任务，每次 6 轮，统一车型库、提示词、工具和评分规则，用代码而不是“感觉”来比较。

结论先行：18 次主推全部满足硬约束，质量几乎打平（1.000 vs 0.993）；差距在成本——Qwen 约 2.50 元/次、659 秒，DeepSeek 约 0.48 元/次、145 秒，相差约 5 倍。

第一部分 调研，评测

1.1 实验设计

1.1.1 模型与数据

• Qwen3.8-Max：阿里云百炼 / 千问AI平台，2.4 万亿参数 MoE，1M 上下文，默认思考模式，支持 Function Calling。
• DeepSeek-V4-Pro：DeepSeek 开放平台，1M 上下文，支持思考模式与 reasoning_effort，兼容 OpenAI/Anthropic 协议。

固定车型库 24 款 2026 款车，覆盖轿车/SUV/MPV、燃油/混动/插混/增程/纯电，价格 7.58–33.98 万，每款近 30 个字段（价格、尺寸、动力、能耗、续航、气囊、AEB/L2、二排配置、保值率、交付周期等）。

落地价统一由 calc_landing_price 计算：

落地价 = 指导价 + 购置税 + 首年保险 + 上牌费(0.05万) - 置换补贴(可选0.5万)
燃油车购置税 = 指导价/1.13 × 10%
新能源购置税 = 指导价/1.13 × 10% - min(指导价/1.13 × 5%, 1.5万)   # 2026 减半

关闭联网检索，模型只能查固定车型库，避免“数据获取差异”被误读成“推理差异”。

1.1.2 三个场景

场景	用户	预算（落地）	预算外的硬约束	预期可行集
S1	城市通勤 + 三口之家	25 万	SUV、≥5 座、车长≤4800mm、≥6 气囊、AEB、油耗≤7.5L 或纯电≥500km 或增程纯电≥200km、保值率≥50%	宋PLUS DM-i、星越L、CS75 PLUS、零跑C11、小鹏G6
S2	程序员首购	18 万	轿车、轴距≥2750mm、L2、保值率≥55%、油耗≤6.5L 或纯电≥500km	秦L DM-i、银河A7
S3	二孩家庭	35→30 万	≥6 座、二排独立、≥6 气囊、AEB、纯电≥600km 或综合≥1000km；第 5 轮变更：预算≤30 万、二排通风加热、排除纯电	变更前：C16、M7、L8；变更后：仅 C16

1.1.3 流程、工具与评分

每次 6 轮：提出意图 → 初步推荐（JSON）→ 购车要点 → 参数对比表 → 需求变更/用车成本 → 最终推荐（主推+备选+≥3 条理由+落地价）。

工具：search_cars / get_car_detail / calc_landing_price，两个模型完全一致。系统提示只给车型库摘要，详细参数和价格必须调工具。同一任务保留上下文，任务之间重置。代码用 Python + openai SDK 驱动，逐轮写 JSON、汇总写 CSV、图表用 matplotlib。程序自动解析 T2 的 JSON 候选、T4 的表格、T6 的主推/备选，与车型库逐条核对，原始记录落到 results/raw/。

评分 7 维：约束满足 25%、预算合规 15%、多轮一致性 15%、信息真实性 15%、指令遵循 10%、工具使用 10%、推理质量 10%（第三方 GLM-5.2 裁判）。规则在 RUBRIC.md 中实验前冻结。

公平性：统一场景、提示词、数据、工具、temperature=0.7、max_tokens=4096、工具循环 4 轮。无法完全统一的是两家默认推理强度，这一点算局限。

1.2 大模型 1：通义千问 Qwen3.8-Max

1.2.1 体验

网页入口是千问AI平台，用阿里云账号登录、实名认证后在“模型”里选 qwen3.8-max，在 API 参考页创建 Key；API 走百炼/DashScope 兼容接口。控制台提供模型体验、应用编排、知识库、评测、用量与账单。

优点：模型多、文档细、工具/缓存/Batch 完整、1M 上下文、多模态、企业权限成熟。缺点：计费项多、入口多、默认思考模式慢、旗舰模型要付费。

截图 1 Qwen3.8-Max：2.4 万亿 MoE、1M 上下文、输入 12 元/百万 tokens、输出 36 元/百万 tokens

截图 2a 网页端对“25 万落地、通勤、车长≤4.8m”的首次回答

截图 2b 追问落地价后的测算：网页端把 2026 年购置税说成“免征”（旧政策），三款车都按 0 元算

截图 2b 正好说明“网页端”和“自动化评测”的区别：网页端会引用库外车型、沿用旧税政；自动化测试强制调 calc_landing_price，18 次都按 2026 减半政策算对了。开放世界 vs 封闭考场，不能混着比。

1.2.2 自动化测试

场景	3 次运行的主推	落地价（万）	综合得分
S1	零跑 C11 ×2、宋PLUS DM-i ×1	16.24–16.88	1.000
S2	秦L DM-i ×2、银河A7 ×1	10.92–12.64	1.000
S3	零跑 C16 ×3	19.43	1.000

• 9/9 主推可行，约束、预算、一致性、格式、真实性、工具六项全 1.000，裁判 5/5。
• 平均 22.2 次工具调用、1.64 万字输出、659 秒、15.6 万 tokens、2.50 元/次；最慢一次 1212 秒。
• S3 变更处理干净：明确写“上一轮 L8/M7 作废”，最终只推 C16；二排加热无字段时如实标注“需到店确认”。

1.2.3 结论

Qwen 像一位愿意把每一步写下来的顾问：会查、会算、会解释“为什么不是它”，没有硬错误。代价是慢、贵、话多，适合高客单价、低频、需要解释的场景；直接上高并发产品要先做流式、缓存和路由。

1.3 大模型 2：DeepSeek-V4-Pro

1.3.1 体验

platform.deepseek.com 注册、建 Key、充值即用，控制台只有 API Keys、用量、余额、文档、状态页；网页端 chat.deepseek.com 有“深度思考”开关。极简，几乎没有学习成本。

优点：便宜（V4-Pro 输入 4.5 元/百万、输出 13.5 元，空闲时段）、快、1M 上下文、双协议兼容、并发 500。缺点：模型少、无多模态、没有应用编排/RAG、免费额度少。

截图 3 DeepSeek 用量页：近 30 天 1,849 次请求、4.63 亿 tokens（头像/用户名已打码）

截图 4a DeepSeek 网页端（深度思考）对 18 万首购轿车的回答

截图 4b 预算降到 16 万后，DeepSeek 排除帕萨特 330TSI，给出凯美瑞 2.0L、雅阁舒适版等降级方案

DeepSeek 网页端同样会引用库外车型（雅阁、凯美瑞、帕萨特）；自动化测试只用 24 款车型库，所以推荐的是银河A7、秦L。两者定位不同。

1.3.2 自动化测试

场景	3 次运行的主推	落地价（万）	综合得分
S1	零跑 C11 ×1、宋PLUS DM-i ×2	16.24–16.88	0.980–1.000
S2	银河A7 ×3	12.64	1.000
S3	零跑 C16 ×3	19.43	0.980–1.000

• 9/9 主推可行，六项硬指标全 1.000；三次 0.980 来自裁判细节扣分（一次误判 AION Y“库外”，一次候选数量表述，一次备选唐 DM-i 违规）。
• 平均 11.2 次工具调用、0.63 万字、145 秒、8.1 万 tokens、0.48 元/次。
• S3 变更同样到位：三次都识别出 L8/M7 超预算，最终只推 C16。

1.3.3 结论

DeepSeek 像一位算得快、说得短的顾问：该查的查、该算的算，不展开。分数只差 0.007，成本只有 1/5、延迟 1/4.5。做“能上线”的购车助手，我会先选它；解释力由产品层补。

1.4 横向对比

指标	Qwen3.8-Max	DeepSeek-V4-Pro
约束满足 / 预算合规	1.000 / 1.000	1.000 / 1.000
多轮一致性 / 指令遵循	1.000 / 1.000	1.000 / 1.000
信息真实性 / 工具使用	1.000 / 1.000	1.000 / 1.000
推理质量（裁判）	1.000	0.933
综合得分	1.000	0.993
平均延迟 / token	659 s / 155,568	145 s / 81,442
单次成本	2.50 元	0.48 元
主推可行率	100%	100%

成本按 2026-11 官方价折算，DeepSeek 取空闲时段价；未计缓存折扣和免费额度，实际更低。

图 1 质量维度几乎重合；成本效率 0.19 vs 1.00、延迟效率 0.22 vs 1.00（效率仅展示，不计总分）

图 2 左：分场景质量（纵轴 0.90–1.00 放大）；右：单次成本

图 3 左：18 次得分分布；右：单次 token 分布

图 4 延迟-成本散点与均值

图 5 工具调用次数与输出字数

三个结论：

1. 任务完成度打平：18/18 主推可行，六项硬指标全满分。题目对 2026 年旗舰偏简单，出现天花板效应。
2. 效率差距远大于质量差距：Qwen 多花 4.5 倍时间、5.2 倍成本、2 倍工具调用、2.6 倍字数，只换来 0.007 分。
3. 强项不同：Qwen 强在解释和诚实标注；DeepSeek 强在克制、快、便宜。

1.5 失败与边界案例

主实验没有“主推违规”，但有三类边界现象：

案例一：备选越界。 S3 变更后全库只有 C16 一款可行，但 T6 要求“主推+备选”，6 次运行全部硬凑了违规备选：Qwen 选超预算的问界 M7（33.25 万），DeepSeek 选二排连体的唐 DM-i。两者都在正文标注了“超预算/不满足”，但格式要求与硬约束冲突。改进：允许输出“备选：无”，并由程序校验备选。

案例二：比较级失实。 补充边界测试 S4（15 万+6 座+二排通风加热+纯电 700km+保值率 65%+4 周，全库无解）中，Qwen 第 1 次写“C16 是二排独立座椅车里交付最快的（6 周）”，但 GL8 是 5 周；同一模型第 2 次运行自己给出了正确结论。同一场景两次运行，一次对一次错。

案例三：效率失控。 Qwen S1 第 3 次 1212 秒、24 次工具调用；S3 第 2 次 38 次调用、225,541 tokens。功能没错，工程上是重复调用和上下文膨胀。

补充：无解场景测试（4 次，单独标注）。 两个模型都正确识别“不存在完全满足的车型”，并给出放宽方案，没有编造车型：

模型	是否识别无解	替代方案	事实错误
DeepSeek #1/#2	✅ / ✅	C16 + 逐条放宽	无
Qwen #1/#2	✅ / ✅	C16 + 四项放宽	#1 有“交付最快”错误

方法论上的失败：初版评分器把“最后一个落地价”当主推价格，导致 Qwen 真实性只有 0.819；修正后 1.000。裁判也把库内 AION Y 误判为“库外”。评测系统本身也需要被评测。

1.6 用户采访

采访对象是计算机专业同班同学，高频 AI 用户，日常用 DeepSeek 写代码、查 API、学习。选他是因为他能区分“能用”和“好用”，且对准确率有真实体感。注意：他日常用 deepseek-v4.1-flash，不是 1.4 节评测的 V4-Pro，这段体验只代表 Flash。

1.6.1 对象与需求

• 背景：计算机专业同班同学（匿名），常用 DeepSeek 完成课程/项目/学习。
• 需求：帮忙完成部分工作、辅助学习、解决卡住的问题；速度要快，答案稍加核对就能用。
• 形式：2026 年 11 月，约 20 分钟，包含现场演示：TA 用自己的账号打开 DeepSeek，完成“提问—追问—核对”流程。

1.6.2 采访记录

环节	TA 的描述（转述）	我的判断
场景	写代码、查 API/库、解释概念、做项目	高频用户，上手无困难
选型	选 V4.1-Flash，主要因为快、够用	速度优先，准确率靠人工复核
准确率	“有时候会不准确，可能会瞎说乱编”	幻觉是核心痛点
速度/能力	“回复很快，能胜任大部分工作（准确率要求不是极高时）”	适合草稿/初筛，不适合直接交付
改进	提高准确率；不同 Agent 适配不同模型	单一模型不够，需要路由和评测
上手	没有操作困难	难点在“敢不敢信”，不在“会不会用”

照片 1 采访对象在教室演示日常使用场景（面部已遮挡，已获授权）

1.6.3 困难与亮点

困难：① 幻觉——有些回答看起来很确定，一查文档/跑代码才发现不对；② 判断成本高——新手很难分辨真假，不应要求每个用户逐条核对；③ Agent 与模型适配——同一模型接到不同工具里效果差异大。

亮点：① 快，日常问答几乎不用等；② 能胜任大部分工作（草稿、解释、查方向）；③ 能把思路拆开讲，辅助学习。

1.6.4 改进意见

• 提高准确率：关键结论给来源/依据，或明确标注“不确定”；高风险问题切更强模型/工具。
• 不同 Agent 适配不同模型：按任务类型路由，并用评测集持续验证。
• 让用户知道“该不该信”：界面给置信度、来源或可核验链接。

1.6.5 复盘

• 观察到的：TA 现场操作熟练，没有找不到入口/卡住；多次提到“瞎说乱编”；对速度满意。
• TA 描述的工作流：AI 给初稿 → 自己查文档/跑代码 → 再采用。
• 我推测的原因：痛点不是“不会用”，而是“不敢信”；聊天界面只给答案、不给来源和置信度。只改一处：给关键回答加“来源/可核验”标记。

1.7 体验与改进意见

维度	百炼 / 千问AI平台	DeepSeek 开放平台
模型选择	千问全系，百炼还可接第三方	仅 V4-Pro / V4.1-Flash
功能	体验、应用编排、RAG、评测、Batch	API、文档、用量、充值
成本	旗舰贵（12/36 元）	便宜（4.5/13.5 元）
延迟	默认思考，1–3 分钟/轮	快，5–40 秒/轮
适合	企业、多模型、多模态、合规	开发者、成本敏感的批量任务

体验问题：① “落地价”心智负担，真实产品若不强约束，用户容易少算 1–3 万（截图 2b）；② 长表格移动端不可读；③ 变更确认依赖模型自觉；④ 依据不可见；⑤ 等待焦虑。

改进意见：① 首次对话问清预算口径；② 参数表默认 6 列、其余折叠；③ 变更后强制输出“旧约束→新约束→作废结论”卡片；④ 数字标来源；⑤ 长任务给阶段提示。

1.8 大模型对现实生活的影响

先把信息差打薄。 以前选车要在多个平台之间切换，现在几分钟就能把“预算—约束—候选—对比—落地价”串起来。它最大的价值不是替人决定，而是把决策所需信息整理成可比较的结构。

但“会说话”不等于“会负责”。 这次实测见到：备选会超预算、比较级会失实、同一问题三次推荐不同、输出长到读不完。这些错误不会让模型“脸红”，却可能让用户多花几万块。所以需要“模型 + 验证器 + 人工兜底”：模型生成，规则/工具校验，人拍板。

风险与态度。 隐私、品牌偏见、去技能化、算力环境成本都真实存在。我的态度是：把它当“能力很强但需要复核的实习生”——做资料整理、方案生成、初步计算可以；直接签字、付款、承担后果不行。

第二部分 分析

2.1 程序、软件工程、商业三层

层次	两个平台	我的评测系统
程序（算法/数据结构）	MoE、长上下文、思考模式、工具调用规划；1M 上下文、KV Cache	约束过滤、落地价公式、规则评分、JSON/表格解析
软件工程（服务/文档/协作）	API 网关、SDK、限流、快照版本、用量/账单、合规	执行器、工具循环、评分器、原始日志、可视化
商业（模式/优势）	Token 计费、缓存/Batch 折扣、订阅、云生态、开源影响力	无（课程作业）

一句话：程序层拼模型能力，软件工程层拼“能不能稳定交付”，商业层拼“按 token 还是按任务收费”。

2.2 开发时间估计

阶段	内容	预估
需求与评分	场景、约束、7 维权重、失败判定	4 h
数据	24 款车、价格规则、校验	4 h
代码	工具、多轮执行器、重试、日志	6 h
评分与调试	解析、约束核对、边界	5 h
运行	18 次任务 + 监控	3 h（挂机）
图表与博客	可视化、写作	11 h
合计		约 33 人时

关键路径是“规则设计 → 执行器 → 评分 → 运行”。最对的决定是先冻结 RUBRIC 再跑，避免“看完结果改标准”。

2.3 同类产品对比、排名与选型

仅限本次 3 场景、24 款车、18 次任务，不代表行业排名。

维度	胜者	依据
任务可行性 / 六项硬指标	平手	18/18 可行，均 1.000
推理质量（裁判）	Qwen	1.000 vs 0.933（裁判有 1 次误判）
稳定性	Qwen（微弱）	σ=0.000 vs 0.010，但 DeepSeek 最低 0.980
成本 / 延迟	DeepSeek	0.48 元 vs 2.50 元；145s vs 659s
解释力 / 可读性	Qwen	1.64 万字 vs 0.63 万字

选型：要上线、跑量大、成本敏感 → DeepSeek；要多模态、长文档、多模型、企业合规 → 百炼 + Qwen；最佳实践是路由：简单问题 Flash，复杂推理 Pro，多模态 Qwen。

2.4 软件工程建议与 BUG 原因

现象	是否观察到	可能来源	改进
备选违反硬约束	是（S3 6/6）	提示词格式压力 + 模型取舍	允许“备选：无”，程序校验
比较级失实	是（Qwen S4#1）	未复核全库、凭印象	比较级必须走工具排序
效率失控	是（1212s / 38 次调用）	工具策略 + 思考模式	去重、缓存、单任务预算
价格/变更错误	否（18/18 正确）	—	保持计算器唯一真源
JSON/表格格式错误	否（全部合规）	—	保持 schema 校验

四条建议：① 测试覆盖边界（预算卡线、缺货、需求矛盾）；② 适配层做能力探测，不写死一家；③ 上下文做“约束快照 + 摘要 + 工具结果裁剪”；④ 工具失败回传结构化错误、解析失败重试、超时降级。

改进方案比较（备选越界）：

对比项	A：程序校验 + 允许 null（推荐）	B：提示词强调“备选也必须合规”
正确率	接近 100%	本次 6 次全违规
成本/维护	中，规则集中	低，但换模型可能失效
验证	统计备选违规率	A/B 跑 3 次

选 A：能用确定性代码解决的问题，不交给概率模型。

2.5 市场概况

• 2025 年中国企业级 MaaS 收入约 30.7 亿元，2026 年预计 186 亿元；公有云大模型调用量 1,944 万亿 tokens（2024 年的 16 倍），2026 年预计 40,000 万亿。
• 2025 年中国企业级 AI 智能体市场约 212 亿元，2026 年预计 449 亿元，2029 年有望 3,320 亿元。
• 调用量份额：火山引擎 2025 年约 **49.5%**；竞争焦点是价格、性能、生态、合规。
• 直接用户：开发者、企业、C 端；潜在用户：汽车、金融、教育、政务、医疗，以及 4S/媒体/保险等“需要可核验报告”的场景。

数据来源：IDC via C114、极客公园、观点网。

2.6 产品规划（NABCD）

功能：可验证的购车决策 Agent——约束采集器 + 确定性求解层（车型库/落地价/排序）+ 可验证报告（来源、排除理由、变更摘要）。

• N 需求：用户信息过载、落地价算不清；开发者缺垂直评测集；4S/媒体缺低成本可核验报告。
• A 做法：Function Calling 接车型/报价/金融库；规则引擎做约束和价格；评测集做回归；多模型路由。
• B 好处：10 分钟拿到可核验清单；接入从周级降到天级；报告成本下降、可审计。
• C 竞争：通用助手缺垂直数据和约束求解；垂媒交互弱；OpenRouter 只路由不评测；车企自建贵且只覆盖自家。
• D 交付：开源评测集 → 媒体/4S 试点 → SDK 嵌入 → 公开榜单获客、私有评测收费。

为什么是它：不做“汽车版 ChatGPT”（没数据壁垒），也不做“车型库 API”（没决策价值），而是把数据、工具、评测、解释串成“可信”壁垒。

2.7 90 天计划

• 0–30 天：建立 3 场景 × 2 模型 × 3 次回归；SLO：约束满足≥98%、价格误差=0、P95 延迟≤180s；价格必须来自计算器。
• 31–60 天：约束采集器、变更摘要、6 列核心对比表；多模型路由；接 1–2 家媒体/4S 灰度。
• 61–90 天：可验证报告付费版；公开榜单；用转化数据证明 ROI。

竞争策略：不拼“什么都能聊”，拼“选车这件事，答案可验证”。错误代价高的场景里，可信比聪明更值钱。

第三部分 总结与反思

第一，评测重点在从“对不对”转向“多快、多便宜、多可信”。 两个旗舰在有工具、有固定数据、约束写明的任务上都能做对；真正拉开差距的是延迟、成本、输出长度、工具调用次数。

第二，“会解释”是独立能力。 Qwen 只高 0.7%，但能把排除理由、数据缺口讲清楚；对消费者和企业，这种解释可能比 0.7% 的准确率更值钱。

第三，确定性代码仍是 AI 产品的地基。 模型可以错，但计算器不能错、约束不能漏、日志不能丢。把“生成”关进“可验证的流程”，才是把大模型做成产品的关键。

局限：每场景仅 3 次，样本小；车型是教学模拟数据；两家默认推理强度无法完全对齐；裁判有误判，只占 10%。排名仅适用于本次设置。

附录：代码与材料

复现：

python3 -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
cp .env.example .env    # 填 DASHSCOPE_API_KEY / DEEPSEEK_API_KEY
python src/run_experiment.py --workers 5
python src/analyze.py && python src/visualize.py

参考：DeepSeek 价格、百炼模型列表、Qwen3.8-Max 计费。