ContraPrompt：通过对比推理轨迹优化大模型提示，提升20%性能

1. 项目概述

在大型语言模型的实际部署中，我们常常遇到一个令人困惑的现象：同一个模型，面对同一个问题，第一次回答错了，但稍加提示或让它“再想想”，第二次就能答对。这中间的差距，就是模型“知道”和“做到”之间的鸿沟，学术上称之为“能力-应用差距”。传统的提示优化方法，无论是分析单次失败的轨迹，还是横向比较不同提示在不同样本上的表现，都难以精准捕捉这个鸿沟里到底发生了什么变化。我们团队在长期实践中发现，真正有价值的优化信号，恰恰隐藏在这“一败一成”的两次完整思考过程对比之中。ContraPrompt 正是基于这一洞察而设计的一套系统化方法，它不修改模型权重，而是通过对比分析同一输入下失败与成功的完整推理轨迹，提取出导致结果差异的关键推理步骤，并将这些步骤固化为可复用的提示规则。简单来说，它让模型自己教自己“下次遇到类似情况，应该怎么想”。

这项工作的核心价值在于，它将提示优化从“玄学调参”变成了一个可分析、可解释、可复现的工程过程。在 HotPotQA、GPQA Diamond 等需要复杂推理的基准测试上，ContraPrompt 相比之前的先进方法（如 GEPA）取得了最高超过 20% 的相对性能提升。更重要的是，这套方法具有很好的通用性，我们将其成功应用到了从 139 类金融实体识别到黑盒函数优化等截然不同的任务上，证明了其底层逻辑的鲁棒性。如果你正在为如何让大模型更稳定、更可靠地工作而头疼，或者对如何从模型的“错误”中系统性提取知识感兴趣，那么这篇文章将为你提供一个全新的、强有力的工具箱。

2. 核心原理：为什么对比推理轨迹如此有效？

要理解 ContraPrompt 为何有效，我们需要先拆解大模型出错的几种典型原因。有时是模型压根不知道相关知识（能力缺陷），这通常难以通过提示优化解决；但更多时候，模型“知道”答案，却在推理过程中“跑偏”了——可能是忽略了关键证据，可能是应用了错误的解题框架，也可能是输出格式不符合要求。ContraPrompt 瞄准的正是后一种情况。

2.1 从“单轨迹诊断”到“双轨迹对比”

传统的失败分析方法（我们称之为“单轨迹诊断”）就像一位医生只看了一份病危报告就开药方。它只能告诉我们“这里出了问题”，但无法清晰地指出“健康的状态应该是怎样的”。例如，模型在回答一个多跳推理问题时失败了，单轨迹分析可能只会生成一个模糊的建议：“模型不够仔细，请更彻底地核查事实。” 这个建议方向正确，但缺乏可操作性，因为它没有提供一个具体的、正确的推理步骤作为目标。

ContraPrompt 采用的“双轨迹对比分析”则不同。它要求同时查看同一问题下的失败轨迹和成功轨迹。这两条轨迹共享完全相同的模型、输入和基础提示，唯一的变量就是模型内部的推理路径以及第二次尝试时附加的（如果有）错误反馈。通过对比，我们可以精确地定位成功轨迹中多出来或修改了的推理步骤。比如，在失败轨迹中，模型直接拼接了从不同段落推断出的日期；而在成功轨迹中，模型在拼接前，增加了一个“为每个推断出的日期注明其来源段落”的步骤。这个被识别出的“证据引用步骤”，就是一个极其具体、可操作的优化信号。

2.2 能力-应用差距：机会窗口

双轨迹对比分析有效的前提，是模型存在“能力-应用差距”。即，对于同一个任务，模型在首次尝试失败后，通过重试（尤其是在有一定随机性的温度设置下）能够成功解决的比例要显著大于零。在我们的实验中，这个比例在不同任务上大约在 20% 到 37% 之间。这个差距正是优化信号的来源。如果模型完全不会，重试多少次都失败，那就没有对比的基础；如果模型每次都能一次做对，那也无需优化。这个“有时行，有时不行”的中间地带，就是提示优化最能发挥作用的战场。

这里有一个关键的技术细节：为了最大化对比信号的质量，在生成这些轨迹对时，我们必须将采样温度设置为 1.0。在低温度（如 0.2）下，模型的重试往往会收敛到与第一次失败类似的结果，只是措辞略有不同，无法产生真正有差异的推理策略。而温度设为 1.0 时，每次推理都是从模型策略分布中重新采样，更有可能探索到一条全新的、成功的推理路径，从而为对比分析提供高质量的“素材”。

2.3 输入感知路由：对抗指令噪声

直接从对比中提取出的规则是宝贵的，但如果我们简单粗暴地把所有规则都塞进系统提示词里，很快就会遇到“指令噪声”问题。提示词变得冗长而矛盾，模型可能被不相关的规则干扰，反而表现下降。这就好比给一个解决数学题的程序同时加载了烹饪指南和编程规范。

ContraPrompt 的解决方案是构建一个输入感知的决策树。这个树状结构将规则组织起来：

• 通用规则：放在 <always> 区块，对所有输入都生效。例如：“输出最终答案时，不要添加‘答案是：’之类的多余前缀。”
• 条件规则：放在 <branch> 区块，每个分支都有一个由输入文本特征触发的守卫条件。例如，当检测到问题是“是否”类问题时，激活“仅返回‘是’或‘否’，不要附加任何解释文本”这条规则。

在推理时，系统会实时分析输入的特征，然后像走迷宫一样遍历决策树，只激活与当前输入相关的规则子集，并将其动态拼接到基础提示中。这样，每个请求得到的都是为其“量身定制”的、精简而精准的提示，既保留了规则的针对性，又避免了噪声干扰。我们发现，自动构建的决策树分支往往能与任务的内在结构对齐，例如在 HotPotQA 中自动区分出“时间排序问题”和“实体识别问题”，在金融实体识别中则对应了不同的会计准则类别。

3. ContraPrompt 系统实现全流程拆解

理解了核心思想后，我们来看如何将其工程化。ContraPrompt 是一个迭代优化系统，主要包含五个阶段：插桩式智能体重试求解、对比对挖掘、规则提取与聚合失败分析、输入感知树合并、以及检查点评估。

3.1 第一阶段：插桩式智能体重试循环

这是数据生产的源头。我们的目标不是简单地获取一个答案，而是完整地记录模型“思考”的过程。

1. 设置尝试次数：对于训练集中的每个样本，我们允许模型进行最多 A 次尝试（默认为 3 次）。
2. 首次尝试：模型在基础提示 P 下处理原始输入，并生成完整的思维链轨迹 τ₁。我们记录下这个轨迹和最终答案 a₁，并根据 ground truth 计算得分 s₁。
3. 后续重试与反馈：如果首次尝试失败（得分低于阈值），我们将基于失败的类型生成简明的错误反馈，并将其作为额外上下文附加到下一次尝试的输入中。反馈的粒度与错误严重程度相关：
   • 严重错误（得分 < 0.3）：反馈较为笼统，如“你之前的答案是错的。请更仔细地思考。”
   • 部分错误（得分 ≥ 0.3）：反馈会更具体，如“你混淆了‘信用额度’和‘已动用信用额度’这两个概念。”
4. 全程记录：每一次尝试，无论成功与否，我们都完整保存其思维链轨迹 τ 和最终输出 a。关键在于，基础提示 P 在整个循环中保持不变。我们改变的不是提示，而是模型进行推理时所处的“情境”（有无反馈）。

这个循环会产生大量数据，其中最有价值的就是那些“首次失败但后续成功”的样本对 (τ⁻, τ⁺)。它们是我们进行对比分析的原材料。

3.2 第二阶段：对比对挖掘

不是所有重试产生的轨迹对都有用。我们需要筛选出那些能提供强信号的“高质量对比对”。

1. 计算改进幅度：对于每个样本 x_i，我们计算其所有尝试中的最佳得分 c⁺_i 和最差得分 c⁻_i，得到改进值 Δ_i = c⁺_i - c⁻_i。
2. 过滤噪声：设定一个最小改进阈值 δ_min（例如 0.02）。如果 Δ_i < δ_min，说明两次尝试差异不大，可能是随机波动，予以丢弃。
3. 排序与选取：将剩余的样本对按 Δ_i 从大到小排序。改进越大的样本对，其成功与失败的推理路径差异通常越显著，蕴含的优化信号也越强。我们可以根据计算资源，选择排名靠前的 K 对用于后续分析。

3.3 第三阶段：规则提取与聚合失败分析

这是将“数据”转化为“知识”的核心步骤。

1. 双轨迹规则提取：我们将一个高质量的对比对 (τ⁻, τ⁺) 连同其上下文（包括附加的反馈）一起提交给一个规则提取模型（通常是一个更强的模型，如 Claude Sonnet）。我们给该模型的指令非常关键：

   “请对比以下两次尝试的完整思考过程。成功的尝试在思维链中做了哪些不同的、关键的事情？请提取一条可迁移的、普适性的规则，来描述这个成功的推理模式。请忽略因附加了错误反馈而导致的上下文差异，专注于推理方法本身的改变。”

   提取的规则遵循一个结构化模板：“当[输入模式]时，应[采取的策略]，因为[因果解释]。” 例如：“当问题涉及从多个段落中整合信息时，应在合并推断结论之前，为每个结论注明其来源段落，因为这样可以避免证据混淆并提高答案的可追溯性。”

2. 处理“全军覆没”的样本：对比分析需要至少一次成功重试。对于那些所有尝试都失败的样本，我们采用“聚合失败分析”。我们将这些样本按错误类型（如“错误应用了公式”、“忽略了约束条件”）分组，然后集体分析每组样本，试图找出其共性的、系统性的缺失模式。例如，所有在特定物理问题上失败的样本，可能都缺少“在计算前先进行量纲检查”这一步。由此可以生成一条“预防性”规则。

3.4 第四阶段：输入感知树合并

随着迭代进行，提取的规则会越来越多。我们需要一个智能的方式来管理它们。

1. 规则聚类与条件化：我们将所有提取出的规则（包括对比规则和聚合失败规则）交给一个模型进行聚类分析。模型会分析每条规则所适用的输入特征，并自动生成守卫条件。例如，一条关于“输出仅包含‘是’或‘否’”的规则，其守卫条件可能被自动推导为“输入问题包含‘是否’、‘对吗’、‘有没有’等疑问结构”。
2. 构建决策树：基于这些聚类，系统构建一个两层的决策树。第一层是<always>节点，包含适用于所有场景的通用规则。第二层是多个<branch>节点，每个节点包含一个条件判断和一系列仅在该条件下激活的规则。条件必须基于输入文本可直接观察到的特征（如关键词、句式、实体类型），以确保推理时能进行确定性的路由。
3. 规则格式化与压缩：为了节省上下文长度，在注入树之前，规则描述中的“因为”等解释性部分可能会被适当精简，但核心的“当...时，应...”的行动指令会被保留。

3.5 第五阶段：检查点评估与迭代

将新构建或更新后的规则树与基础提示 P 结合，形成优化后的提示 P‘，在一个独立的验证集上进行评估。如果性能提升达到预期，则保存该检查点。整个系统可以运行多个迭代轮次，不断用新产生的数据优化规则树，形成一个自我改进的闭环。

4. 实战效果：多领域基准测试结果分析

理论再好，也需要实战检验。我们在四种不同类型、不同难度的基准测试上评估了 ContraPrompt，并将其与当前先进的提示优化方法 GEPA 进行了对比。所有对比都在单模块、同模型的公平条件下进行，以纯粹比较优化机制本身的优劣。

表：ContraPrompt 与基线方法在四个基准测试上的性能对比

基准测试	评估指标	基础思维链	GEPA	ContraPrompt	绝对提升	相对提升
HotPotQA	Token F1	25.02	39.77	48.06	+8.29 pp	+20.8%
BBH	精确匹配	26.11	87.59	88.33	+0.74 pp	+0.85%
GPQA Diamond	准确率	63.27	67.35	74.49	+7.14 pp	+10.6%
GDPR-Bench	宏平均F1	10.12	12.15	14.36	+2.21 pp	+18.2%

结果解读与模式分析：

1. 全面超越：ContraPrompt 在全部四个基准上均超越了 GEPA，证明了双轨迹对比方法的普遍有效性。
2. 提升幅度与任务特性相关：提升幅度并非均匀分布，而是与任务的“能力-应用差距”大小密切相关。
   • HotPotQA（多跳问答）：相对提升最大（+20.8%）。这类任务失败的主因常是“证据整合”而非“知识缺失”，模型往往知道所有事实，但第一次没想到要把它们连起来。反馈和对比能非常有效地教会模型“记得引用来源”，因此优化空间巨大。
   • GPQA Diamond（研究生级科学推理）：相对提升显著（+10.6%）。错误常源于对已知原理的错误应用。对比分析能精准定位错误应用的步骤，并替换为正确的推理框架。
   • GDPR-Bench（合规分类）：相对提升很高（+18.2%）。失败常因为选错了分类框架（例如，将数据存储问题误判为数据收集问题）。对比成功与失败的轨迹，能直接揭示应该使用哪个正确的法规框架。
   • BBH（复杂推理）：提升较小（+0.85%）。因为 GEPA 在此任务上基线已经很高（87.59%），意味着模型首次尝试的成功率就很高，“能力-应用差距”较小，可供挖掘的对比对数量和质量都有限，因此优化天花板较低。
3. 一个有趣的模式：我们观察到，性能提升的排序与重试成功率完全一致：HotPotQA（重试成功率~37%）> GPQA Diamond (~24%) > GDPR-Bench (~25%) > BBH (~20%)。这强烈支持了我们的核心假设：重试成功率越高，意味着“能力-应用差距”越大，可挖掘的高质量对比对就越多，ContraPrompt 的优化潜力也就越大。

5. 泛化能力测试：从金融分类到黑盒优化

为了验证 ContraPrompt 的泛化性，我们将其应用于两个与核心推理任务截然不同的领域。

5.1 高基数分类：FiNER-139 金融实体识别

这个任务要求将财务报表中的数值分类到 139 个极其精细的 XBRL 标签中，例如区分 LineOfCredit（已动用信用额度）和 LineOfCreditFacilityMaximumBorrowingCapacity（信用额度最大借款能力）。这不再是推理策略问题，而是精确消歧问题。

实操要点：

• 模型选择：为与此前研究公平对比，我们使用 DeepSeek-V3.1 同时作为任务求解和规则提取模型。
• 流程：使用 1000 个训练样本运行 ContraPrompt。模型在训练中会混淆许多相似标签。
• 结果：ContraPrompt 达到了 74.94% 的准确率，相比未优化的基线（67.17%）提升了 7.77 个百分点（+11.6%），相比 GEPA（73.0%）提升了 1.94 个百分点（+2.66%）。
• 生成的规则树：系统自动生成了 79 条规则，并将其组织成 14 条通用规则和 65 条条件规则，分布在 11 个分支下，如“债务工具”、“租赁协议”、“衍生金融工具”等。令人惊讶的是，这些自动产生的分支类别，竟然与 US GAAP（美国通用会计准则）中金融工具的标准分类高度吻合。这并非方法“发明”了会计准则，而是因为模型在训练数据中产生的混淆天然地按照这些业务类别聚集，规则树只是忠实地反映了这一数据结构。这证明了输入感知树具有强大的、有意义的归纳能力。

5.2 黑盒函数优化：EvalSet 基准

我们进一步将 ContraPrompt 的思想应用于一个完全不同的领域：让大模型编写代码来优化一个数学函数。这里，“推理轨迹”变成了“优化器评估轨迹”。

实验设置：

• 任务：给定一个黑盒函数 f(x)，让模型编写一个 Python 求解器来寻找其最小值。
• 对比机制：在每一轮代码演化中，我们对比本轮最差和最佳的评估结果（即函数值），形成一个“对比对”。规则提取模型分析这两个评估所对应的搜索策略差异，总结出优化“经验”，例如：“在当前区域梯度变化平缓，应采用全局探索策略而非局部精细搜索。”
• 对比基线：与 GEPA 的优化器版本和传统优化库 Optuna 在 53 个测试函数上对比，预算均为 2000 次函数评估。

结果与洞察：

• 头对头对比：ContraPrompt 在 53 个问题中，胜出 11 个，打平 41 个，仅输掉 1 个。而 GEPA 输掉了 9 个。
• 维度扩展性：在低维问题（d≤3）上，两者表现接近。但在中高维问题（d≥4）上，ContraPrompt 的优势开始显现。特别是在 Easom、Styblinski-Tang 等复杂函数上，ContraPrompt 能精确找到全局最优解，而 GEPA 则存在显著差距。
• 机制优势：ContraPrompt 的显式对比步骤，迫使模型在每一轮都明确总结“差策略”和“好策略”的差异，从而能够重新发现诸如“在平坦区域增加随机扰动”、“识别变量间的交互作用”等优化技巧。而 GEPA 的单步反思虽然也包含类似信息，但缺乏这种强制性的对比结构，在需要多阶段策略的复杂问题上，知识迁移效率较低。

6. 局限性与实操避坑指南

没有任何方法是银弹，ContraPrompt 也不例外。了解其局限性和实践中可能遇到的坑，对于成功应用至关重要。

6.1 核心局限性

1. 依赖非零重试成功率：这是方法的根本前提。如果模型对某个任务完全不会（重试成功率接近0），那么对比对就无从产生，系统只能退回到较弱的聚合失败分析。因此，在应用前，建议先在小样本上测试模型的重试成功率，预估优化潜力。
2. 混杂因素：错误反馈的影响：在对比对 (τ⁻, τ⁺) 中，成功尝试 τ⁺ 包含了前次失败的反馈。因此，两者的差异不仅源于“推理策略”，也源于“额外的上下文信息”。虽然我们在规则提取时要求模型聚焦于前者，但这在技术上难以完全剥离。一个更干净的实验设计是在温度 1.0 下进行无反馈重试，但这可能会降低重试成功率。在实践中，这是一个需要权衡的工程折衷。
3. 计算与标注成本：生成完整的思维链、进行多次重试、并用大模型进行规则提取，都需要消耗额外的计算资源和 API 调用。对于非常大规模的任务，成本需要纳入考量。

6.2 实操心得与常见问题排查

心得一：温度设置是成败关键

• 问题：重试时模型总是给出相似甚至相同的错误答案，无法产生有差异的对比对。
• 排查：首先检查采样温度。务必确保任务求解阶段温度设置为 1.0。这是激发模型探索不同推理路径、最大化“能力-应用差距”观测值的首要条件。规则提取阶段可以使用较低温度（如 0.7）以保证稳定性。

心得二：反馈质量决定规则质量

• 问题：提取出的规则过于笼统（如“要更仔细”），缺乏可操作性。
• 排查：检查错误反馈的生成机制。对于部分错误，反馈必须具体。例如，不要只说“答案错了”，而要说“你混淆了概念 A 和概念 B”或“你忽略了条件 X”。更具体的反馈能引导模型产生更具针对性的成功轨迹，从而使对比分析能捕捉到更细微、更有效的步骤差异。

心得三：决策树的条件要“可观测”

• 问题：决策树在推理时路由错误，给不相关的问题应用了规则，导致效果下降。
• 排查：审查自动生成的树枝守卫条件。确保条件是基于输入文本表面特征即可判断的，例如关键词、句式、实体类型、问题长度等。避免使用需要深层推理才能判断的条件（如“这是一个需要多步推理的问题”），因为负责路由的模块可能无法准确判断。

心得四：区分“推理规则”与“格式规则”

• 问题：规则库中混入了大量关于输出格式的规则（如“不要写前缀”），但核心的推理能力提升不明显。
• 排查：这是正常现象。在优化初期，模型最容易纠正的往往是格式错误。这些规则对提升基准测试分数有直接帮助，也应保留。但为了进一步提升，可以尝试在规则提取提示中更加强调“请关注推理逻辑的差异，而非输出格式的差异”，或在后续迭代中过滤掉纯格式规则，聚焦于挖掘更深层的推理模式。

心得五：从小规模、高价值数据开始

• 问题：在拥有数百万样本的任务上直接运行，成本高昂且迭代缓慢。
• 实操建议：不要一开始就全量运行。首先，从训练集中筛选出一个“高潜力”子集（例如，模型预测置信度中等、容易出错的样本）。在这个子集上运行 1-2 个完整的 ContraPrompt 迭代周期。通常，大部分有价值的通用规则在早期就能被提取出来。用这些规则先构建一个初步的决策树，应用到全量数据上评估收益。如果收益显著，再考虑扩大对比对的挖掘范围。这种“小步快跑、快速验证”的策略，能有效控制成本并加速迭代。