deepseek-flash 与 qwen3.8-27b 购车决策评测

本次比较 deepseek-flash 与 qwen3.8-27b 在购车决策任务中的表现，完成18次正式多轮任务和12次边界任务。网页体验截图与API实验分别记录，避免将不同入口的模型版本和测试条件混为一谈。

团队成员

目录

目录

第一部分 调研，评测

本次考察模型能否把预算、座位、动力、安全要求及后续修改转换成可验证的候选和决策。评价对象是指定模型标识对应的服务，不只根据品牌比较。请求与响应的模型标识、地址、参数和时间均记录；若服务存在别名映射，应说明映射关系。

本次DeepSeek使用官方地址https://api.deepseek.com，Qwen使用百炼兼容地址https://dashscope.aliyuncs.com/compatible-mode/v1。官方说明deepseek-flash当前对应DeepSeek-V4.1-Flash-1017，调用保留用户指定别名。两平台网络、调度与计量不同，耗时不能单独解释成模型推理速度差异。DeepSeek官方接口说明

试调用曾因把DeepSeek官网Key用于百炼地址而返回401，修正地址后成功。该配置排查记录保存在evidence，未计入正式实验或模型失败率。

统一实验设计

正式实验为2个模型×3个场景×3次独立运行，共18次任务、72次API请求。每次4轮：初步推荐、补充或替换约束、参数表比较、最终决策。同次任务保留消息历史，不同任务重新建立上下文。顺序按固定种子混排，不自动重试，失败记录保留。

两模型使用同一12条配置的教学车型表、系统提示词与用户问题。统一temperature=0、max_tokens=2200，不联网、不调用工具，不启用额外JSON模式。内部推理与token计量可能不同，统一参数不代表统一计算量。API地址须与自己的平台匹配，运行前确认额度及模型可用性。

数据包含年份、配置、动力、座位、续航、车长、后备箱、功率和AEB。价格是人民币元的模拟落地总价，已含全部模拟税费和保险，禁止再加费用或猜测折扣。null代表未知。保值率、碰撞星级、油耗、充电时间和口碑未提供。

另设B1无解场景（≤10万元、BEV、≥7座、AEB），预期空候选与null最终选择；B2预算等号与未知参数场景，初始≤138000元、BEV、≥5座、AEB，后续已知续航≥430km，最终仅C01。两个边界场景各模型各3次，独立于正式结果统计。

输出固定JSON契约，comparison为参数表行数组，程序导出CSV。正式运行前用人工预期集合交叉检查确定性筛选器。

实现分为三层：run_eval.py负责HTTP调用、四轮上下文和原始记录，eval_core.py依据当前约束进行确定性筛选及打分，summarize.py重算分数并输出表格与图表。每个任务创建独立messages，仅在同一任务内追加用户和助手消息；API异常保留，未完成轮次计零，不偷偷丢弃。manifest保存配置、提示词、运行顺序和程序/数据SHA256，用于检查复现条件。

公开配置只保存密钥环境变量名。本地api_keys.local.json读取到进程环境，既不放入manifest，也不按原样进入提交包。程序测试覆盖无解、预算等号、未知值、需求替换、错误价格、非法JSON、上下文隔离和接口失败留痕。

每项每轮0—100分，任务取4轮均值，综合分按上述权重计算。解析失败轮次计0分。严格成功要求4轮完整且自动检查全通过，最终选择正确不代表中途没有错误。自然语言理由另行复核，表格满分不代表全文没有幻觉。

参数口径限制：Qwen的S2 r3更新轮返回completion_tokens=4347，其中reasoning_tokens=4127，虽请求max_tokens=2200仍正常结束。服务实际计量表明，不能把相同max_tokens视为跨平台相同的总生成预算。百炼文档也区分模型回答与思维链的限制范围。因此本实验是相同请求参数下的比较，不是等总推理token预算比较；实际token以usage记录为准。百炼参数说明

每模型每场景n=3，报告成功率、均值与样本标准差。多个合法车型间的选择差异不算失败。记录完整响应和任务耗时、服务返回的输入/输出/总token；费用在核实单价前标为未知，不按0元处理。详细公式见实验设计与评分规则。

大模型1 deepseek-flash

体验

本次使用DeepSeek网页端的已有登录状态进行补充体验，没有重复注册。界面提供新对话、深度思考、智能搜索、附件和朗读等入口；本次实际操作的是文本对话、车型表格和后续需求修改。截图时收起了无关历史记录。

为便于观察交互，网页体验使用3款明确标为虚构的教学车型：C01为13.8万元的五座纯电车且有AEB，C06为16.8万元的五座HEV且有AEB，C07为14.8万元的五座HEV但没有AEB。预算17万元、至少5座、必须有AEB，初始接受BEV或HEV。网页回答将C01与C06列为候选，正确排除C07。

图1：实际网页对话截图。模型以表格列出两款合格车型，并解释C07不满足AEB要求。网页没有展示精确API模型标识，https://img-mid.csdnimg.cn/release/static/image/mid/comment/ccloud/1793945580981/01_deepseek_web_candidates.jpg '01_deepseek_web_candidates.jpg 72708')
此图不作为deepseek-flash版本证明。

随后补充“只接受不需要插电的HEV，取消BEV选项”，保留其余条件。模型把候选更新为C06，说明C01因动力类型被排除，C07因没有AEB被排除，能够在这段对话中跟随需求变更。

图2：需求变更后的真实页面。此段2轮网页体验仅用于交互观察，不加入正式18次API任务的计分。

从功能和准确度看，这段体验完成了由初始筛选到变更后选择的过程；表格比一段长文字更容易逐项核对，排除理由也便于用户检查。从界面看，输入框位置稳定，跟进提问方便；较长的首轮输入会折叠，需要展开才能核对完整条件。从数据量看，本次只观察了3款车型，不能据此推断长文档或大车型库表现。

建议增加“当前有效条件”卡片和明确的模型版本标识，让用户随时确认预算与动力要求是否已更新；数值旁提供数据日期和来源，也有助于区分已知事实与模型解释。

自动化测试

统一场景调用config.json中的deepseek-flash，正式n=9；原始记录保存在results/main/raw，候选和参数表分别导出CSV。精确服务地址和返回模型名以运行记录为准。

结论

正式实验综合分99.17、严格成功6/9，最终车型9/9满足有效硬约束；S1和S3每场景3次全部成功，S2三次均因前两轮提前决策而未严格通过。本次平均耗时15.80秒，中位17.03秒，平均9595.33 token/任务。质量指标与Qwen并列，在当前服务配置下耗时更短；不外推到其他任务或等推理预算设置。

大模型2 qwen3.8-27b

体验

千问网页端的公开首页提供提问框、附件入口、模式选择，以及工作助理、AI生视频和PPT创作等功能入口。当前页面显示“Qwen-快速”和登录按钮；本次只查看并截图了未登录首页，没有在网页端发送消息，因此不声称完成了网页注册或多轮功能测试。

图3：千问首页真实截图。页面的“Qwen-快速”不能直接等同于API模型qwen3.8-27b，网页入口观察与模型评分分开处理。

qwen3.8-27b的功能体验依据实际完成的API交互：在S3场景中，第一轮接受纯电时输出C01、C02、C08、C12；第二轮改成HEV并把预算降到17万元后更新为C06；随后输出参数表并选定C06。原始记录为results/main/raw/qwen3.8-27b__S3__r1.json。其中C12最初续航未知，但当时没有续航下限，模型没有提前错误排除它。

从功能和准确度看，该服务在本次约束替换与结构化参数表任务中完成了目标；正式实验的全部最终选择均合法。从数据量看，结论仅覆盖12条教学配置和4轮上下文。从界面入口看，网页提问区清晰、功能丰富，但同时出现多种工作入口，可能增加首次使用者的选择成本，这只是界面观察后的推测。API输出JSON是本实验主动指定的契约，不能据此把“不是自然语言界面”归为模型缺点。

改进建议是让网页模式与可用API标识的关系更清楚，并在面向开发者的交互中突出当前阶段与有效条件。本次API平均等待时间较长，实际集成时可采用进度提示、流式展示或单独控制推理预算；这些改进尚未在本作业中验证。

自动化测试

按相同输入调用qwen3.8-27b，正式n=9，不根据模型调整标准答案。无法统一的接口参数应在正式运行前记录。

结论

正式实验同为99.17分、严格成功6/9，最终车型9/9合法；失败类型同样是S2前两轮提前决策。平均耗时76.93秒，中位61.51秒，平均11164.67 token/任务。S1的一次最终选择C02，其余选择C01，都符合硬约束；这种有理由的合法偏好变化不构成不稳定。不能因为本次耗时更长就断言其底层能力更弱。

结果与案例

正式实验

独立边界实验

边界12次任务全部完成，两模型均100分、6/6严格成功。B1/B2每模型每场景仍只有3次，结果只说明本次边界覆盖通过。48轮自然语言理由经AI辅助逐条核对，此次未发现明确数据事实冲突，未进行多人独立评审。

至少两个失败或边界案例

案例1：提前决策。原始记录results/main/raw/qwen3.8-27b__S2__r3.json与results/main/raw/deepseek-flash__S2__r3.json中，两个模型在initial、update轮都填写了final_choice，虽然候选车型本身合法，但系统提示要求只有最后一轮才允许填写。两者比较轮恢复为null，最终轮再次选择合法车型。这属于阶段契约错误，不属于预算或座位判断错误。

对聊天用户来说，提前推荐未必令人困扰；对把final_choice用作“进入最终确认页面”信号的程序，却可能过早推进流程。因此严格成功率与最终选择正确率必须分别解释。模型字段也不能等同于用户确认，更不能据此触发真实购买。

案例2：无可行解边界。results/boundary/raw/deepseek-flash__B1__r3.json中，10万元以内、BEV、至少7座、有AEB的组合没有对应车型。模型四轮保持空候选，比较轮空表，最终选择null，并解释不能擅自放宽约束。这是正确处理的边界案例，不应因为“没有推荐车”就判成失败，也不冒称模型出现了错误。

案例3：等号与缺失值边界。results/boundary/raw/qwen3.8-27b__B2__r1.json和results/boundary/raw/deepseek-flash__B2__r2.json先保留C01和C12；加入已知续航至少430公里后排除C12，选择价格等于预算、续航等于下限的C01。同时把保值率、碰撞星级、充电时间标为未知。这验证了预算采用小于等于、未知续航不能自动补齐，以及未设置续航约束时不能提前排除便宜车型。

正式72轮可见理由与未知项已由AI助手逐条辅助核对，未进行多人独立评审。发现DeepSeek的S1 r1比较轮称两车“车身尺寸相同”，但数据只给出相同车长，没有宽度和高度，这属于缺少依据的概括，不能由结构化表格100分掩盖。其他已复核参数和预算解释暂未发现明确数值冲突。明细保存在manual_review.csv，未事后改变自动评分。每场景3次只支持小样本观察，不构成行业排名。

第二部分 分析

程序层面使用消息数组维护对话、字典表示有效约束、车型表承载事实、集合算法判定候选。软件工程层面通过API适配、版本清单、失败留痕、测试与报告生成，把单次调用变成可复现实验。商业层面，托管推理服务围绕调用量和工具链提供价值，应用的价值在于减少比较信息和核验条件的时间。

开发时间估计

假设一名熟悉Python的学生基于现成API开发：场景与规则3小时、数据2小时、接口和上下文4小时、评分与绘图4小时、测试3小时、产品体验与截图2小时、博客整理4小时，共22小时。预留25%返工约27.5小时。这是估计，不是实际工时日志，也不含基础模型训练或生产部署。

同类产品对比排名

本次质量指标并列：综合分均99.17，严格成功均6/9，准确度、一致性、结构化真实性均100，指令遵循均94.44。不应为满足“排名”标题而硬排优劣。每模型每场景的综合分标准差均为0，但S2一直稳定地提前决策，说明稳定不等于正确。

若当前应用优先缩短等待时间，在本次相同请求参数、不同托管平台的实测中，可以优先考虑DeepSeek官方服务；平均任务耗时15.80秒，低于Qwen百炼服务的76.93秒。若已有百炼集成或部署需求，Qwen也表现出相同的任务质量，需再评估服务预算、配额和部署条件。两模型都应增加阶段控制。费用未核算，不因token更少就声称账单一定更便宜。

每模型仅9次正式任务；p95最近秩估计实际取组内最大值。延迟有网络、服务调度、缓存与推理量影响，不能解释成同等计算预算的速度排名。

软件工程方面的建议

结合提前决策案例，优先改进方向是“显式阶段与约束状态+规则筛选+模型解释”：明确需求替换与继承，候选和表格由程序生成，模型解释合法选项的取舍，输出后再次校验。阶段控制直接针对本次观察到的提前决策问题，规则筛选则用于保证预算等硬约束始终成立。

备选是只强化提示词，优点是开发快、改动少，缺点是不能从机制上保证字段相互一致。规则方案需要维护字段，对模糊偏好仍依赖模型，但适合预算、座位、动力等可精确判定的条件。联网检索能更新信息，不能替代约束校验。

验证计划：冻结回归集，另增至少20个未用于调试的保留场景，覆盖单位、否定、预算等号、多次修改、无解和缺失值。两方案用相同模型和样本，比较非法候选率、成功率、事实错误率及延迟/token代价。此为待验证方案，不是已经实现的提升。

BUG存在的原因分析

本次S2提前决策直接出现在两个模型的原始JSON中，接口正常返回，并非CSV解析后引入；数据中的价格和座位也没有导致这项扣分。可能是模型更倾向响应用户“请推荐”的措辞，而没有始终遵守系统中的阶段要求，此为提示理解层面的假设，不是对内部训练机制的确定性判断。

工程上应由程序控制当前阶段，只在最终轮接受final_choice，并将建议与用户确认分离。相比继续扩充提示词，这能在接口边界明确阻止过早推进。初次401则是地址与密钥平台不匹配，修正Base URL后成功；它是配置问题，不计入模型质量评价。响应耗时异常需结合网络、排队和服务端遥测排查，当前不能仅归咎于模型推理。

市场概况与产品规划

市场概况

市场应按口径拆开。IDC在2026年10月发布的资料中给出：2025年中国AI云市场规模684亿元，企业级MaaS token调用量1994万亿，文中表述调用量同比增长约16倍。这个市场包含模型全生命周期的基础设施与平台服务，684亿元不能直接当成大模型API收入；调用量增速也不是收入增速。IDC原文

Grand View Research的公开摘要估计，全球AI Agents市场2025年约76亿美元，2026年约109亿美元，并预测2026—2033年复合增长率为49.6%。这是全球智能体市场的机构估计和预测，不能与中国AI云市场直接加总，也不能当作已经实现的未来收入。市场研究摘要

用户方面，CNNIC第57次报告显示，截至2025年12月，中国生成式人工智能用户规模6.02亿，较2024年底增长141.7%，普及率42.8%。这个数字是生成式AI总体用户，不是Qwen或DeepSeek的独立活跃用户，更不是API付费开发者数。CNNIC报告发布说明

直接用户可以分为集成API的开发者、采购企业、通过网页或App使用助手的个人。购车决策工具的潜在用户只是其中有明确选车需求的一部分，还受购车周期、地区数据覆盖和信任影响。公开资料不足以给出本次两个服务的同口径付费用户数量，不能把6.02亿当作项目可获取市场。产品试点先以20名真实参与者验证需求，是规划目标而非现有用户规模。

产品规划

拟在现有大模型上做“有约束证据的选车助手”，核心功能是需求变更可追踪、参数有出处、候选是否合法可解释，并允许用户一键查看为什么某车被排除。优先解决的是用户无法检查推荐依据的问题。

第一阶段用2周实现约束确认、版本化数据、筛选和回归测试；第二阶段用2周补充来源链接、预算计算与无解解释，并开展试点；第三阶段依据试点验证结果决定是否接入实时检索。现阶段不把自动下单、多模态看车和复杂代理编排列为首要功能，因为当前计划优先验证基础约束和证据一致性。

设定试点验收目标而非既成结果：硬约束不合格推荐必须被拦截，全部数值可追溯，需求变更可见，20名试点用户中至少80%能不经指导完成比较任务。若不能达到，优先修正流程和数据而不是扩大推广。商业模式可以先用基础比较免费、专业数据或企业接口服务付费进行验证，具体价格需要真实付费意愿调查，不能凭市场总额推导。

现实生活影响

大模型使用户能用自然语言表达复杂需求并在多轮交流中修改条件，降低信息整理门槛。但理解句子和严格执行全部要求是不同能力，流畅文字容易使用户忽视来源和条件遗漏。

应用应让约束、来源、未知项及变更过程可见，并保留用户对重要决策的确认。测试、版本记录、数据维护和失败分析决定一次不错的回答能否成为可靠服务。此次实验中两款模型均能合法筛选车辆，却在特定阶段持续提前决策，说明正确推荐与可靠流程是不同问题。无解与未知值处理提供了正面证据，但不能替代真实市场数据验证；网页体验规模较小，仍不能代表不同用户群体的普遍感受。

参考资料与材料

实验材料包括固定车型数据、场景与提示词、完整代码、manifest、原始JSON、CSV评分、图表及辅助复核记录，均保存在代码仓库中。代码与文字整理使用AI辅助；网页操作截图、API原始记录和自动评分是不同类型的证据，正文已分别说明。

• 课程作业要求
• DeepSeek官方API接入说明
• 百炼OpenAI兼容接口
• 百炼Chat Completions参数说明
• Grand View Research全球AI Agents市场摘要
• CNNIC第57次中国互联网络发展状况统计报告

市场章节中的IDC数据附原文链接；上述资料访问日期为2026年11月6日。

完整代码与实验材料见LLM_Review仓库。