MCPO：解决LLM强化学习训练中知识遗忘与攻坚乏力的优化策略

MCPO强化学习大型语言模型

于 2026-06-01 03:13:35 修改

·本内容遵循CC 4.0 BY-SA版权协议

1. 项目概述与核心问题

在大型语言模型（LLM）的推理能力优化赛道上，强化学习（RL）已经从一个前沿探索方向，演变成了许多顶尖模型（如DeepSeek-R1、o1）背后的核心训练范式。其吸引力在于，模型可以通过与一个“环境”互动——比如执行代码或验证数学等式——来获得确定性的对错反馈，从而自我迭代，无需依赖昂贵且可能带有偏见的人类标注。这就是所谓的“基于可验证奖励的强化学习”（RLVR）。在这个范式里，GRPO（组相对策略优化）及其变体因其简洁高效（无需额外训练价值函数或奖励模型）而成为主流选择。

然而，在实际训练中，我和许多同行都观察到一个令人头疼的现象：模型好像“学得快，忘得也快”。一个在上一轮训练中已经能100%答对的问题（我们称之为“已掌握提示”），到了下一轮，准确率可能会莫名其妙地掉到95%甚至更低。同时，对于那些已经有一半以上答案正确、即将被“攻克”的问题（“多数正确提示”），训练过程似乎也显得动力不足，进步缓慢。这就像学生在复习时，只反复做错题，而对已经掌握的知识点和即将掌握的难点疏于巩固，最终导致知识体系不稳固，成绩遇到瓶颈。

MCPO（Mastery-Consolidated Policy Optimization，掌握巩固策略优化）这篇工作，正是精准地切入了这两个痛点。它没有引入复杂的额外模块，而是从优化目标函数的设计哲学上进行了精巧的调整。其核心思想直白而有力：对于已经掌握的知识，我们要设法“锚定”它，防止策略在后续优化中发生有害的漂移；对于即将掌握的知识，我们要给予足够的“关注度”，推动它从“多数正确”迈向“完全掌握”。下面，我就结合自己的工程实践和理解，来拆解MCPO是如何实现这一目标的，以及我们在复现和应用时需要注意哪些细节。

2. GRPO的隐忧：信号缺失与权重错配

要理解MCPO的妙处，我们得先看清GRPO这类方法在训练动态中暴露出的两个根本性问题。这不仅仅是理论分析，在实际的训练损失曲线和评估指标波动中，我们都能清晰地看到它们的影子。

2.1 已掌握提示的策略漂移问题

在GRPO框架下，用于更新模型策略的“优势”（Advantage）信号，是通过计算一个提示（prompt）下所有生成结果（rollout）的奖励，然后求组内相对值得到的。具体来说，优势值等于单个结果的奖励减去组内平均奖励，再除以组内奖励的标准差。这个设计很巧妙，它让模型学习“比同组平均表现更好”的行为。

但问题随之而来：对于一个“已掌握提示”（即该提示下所有生成结果都正确，奖励均为1），组内所有奖励相同。此时，组内平均奖励就是1，标准差为0。根据公式，所有结果的优势值都变成了“0除以0”或一个零值，导致梯度信号完全消失。在训练中，这类提示因此无法提供有效的学习信号。

更糟糕的是，这并不意味着模型会在这个提示上“静止不动”。相反，由于没有梯度信号来约束，当模型为了学习其他新提示而更新参数时，其策略可能会发生不受控的“漂移”，导致在已掌握提示上的性能退化。论文中的实验（图2b）清晰地展示了这一点：在DAPO（GRPO的一个高效变体）训练中，上一轮被标记为已掌握的提示，在下一轮策略下的平均准确率会从100%回落到95%左右。这种“学了新的，忘了旧的”的现象，严重制约了模型整体知识体系的稳固性。

2.2 多数正确提示的权重错配问题

第二个问题关乎训练效率，即优化资源的分配。GRPO的优化目标经过推导，可以分解为一个“查询权重”和一个“判别项”。其中，查询权重只与当前提示的 rollout 准确率 p(x) 有关，其形式为 sqrt(p(x)*(1-p(x)))。画出这个函数图像（如图3b），你会发现它是一个倒U型曲线，在 p(x)=0.5 时权重最大，向两端（p(x)趋近于0或1）则权重递减至0。

这听起来合理吗？理论上，对于准确率50%左右的问题，模型最“困惑”，不确定性最高，给予高权重似乎有助于探索。但现实很骨感。论文统计了实际训练中所有提示的准确率分布（图3a），发现了一个双峰分布：大部分提示要么非常难（准确率接近0），要么非常容易（准确率接近1），处于中间地带的提示只占很小一部分。

这就导致了严重的“权重错配”：GRPO把最大的优化权重，分配给了数据集中占比最少的那部分“中等难度”提示。而对于那些占据大头的、准确率已经很高（>50%）的“多数正确提示”，随着其准确率p(x)向1靠近，其查询权重反而越来越小。这意味着，当模型在一个问题上已经取得大部分成功、即将完全掌握它时，训练过程却“后劲不足”，削弱了将其推向100%掌握的动力。这就像长跑最后冲刺阶段突然泄了力，使得部分习得的技能难以固化为完全掌握。

注意：这里的“权重”是目标函数中隐含的、数学推导出来的影响因子，并非一个需要我们手动设置的超参数。理解这种隐式分配机制，对于诊断模型训练瓶颈至关重要。

3. MCPO的核心机制解析

面对上述两个问题，MCPO的解决方案体现了一种“外科手术式”的精准干预思路：不是推倒重来，而是在GRPO的骨架上进行关键部位的增强。

3.1 针对已掌握提示：铰链KL正则化

MCPO的第一个核心组件，是为已掌握提示专门设计的“铰链KL（Hinge-KL）正则化项”。它的目标很明确：允许策略在已掌握提示上进行微小的、良性的调整，但严格限制其发生大幅度的有害漂移。

1. 策略漂移的度量 首先，我们需要量化“策略漂移”。对于已掌握提示x和其下生成的响应y，在令牌（token）位置t，策略漂移 d_t(x, y) 被定义为新策略对数概率与旧策略对数概率之差。这个值直观反映了模型对于生成下一个词的信心的变化。

2. 从漂移到KL散度估计 直接约束对数概率差并不方便，我们更习惯使用KL散度来衡量两个分布的距离。MCPO采用了一个巧妙的 k3 估计器来近似反向KL散度：KL_approx = exp(d) - d - 1。这个估计器在d接近0时行为良好，且计算高效。

3. 引入容忍预算的铰链函数 关键创新在于“铰链”（Hinge）函数的设计。我们不是简单地惩罚所有非零的KL散度，而是设定一个容忍预算 δ（例如0.01）。只有当策略漂移的绝对值 |d_t| 超过这个预算δ时，才会触发惩罚。惩罚量是超出部分的KL估计值。

具体操作上，我们先计算预算边界对应的KL值 c+ 和 c-。对于每个令牌的漂移 d_t：

如果 |d_t| ≤ δ，惩罚 φ(d_t) = 0。
如果 d_t > δ，惩罚 φ(d_t) = k3(d_t) - c+。
如果 d_t < -δ，惩罚 φ(d_t) = k3(d_t) - c-。

最终，这个铰链KL惩罚项只对已掌握提示集合 M 中的样本求期望，并乘以一个系数 β 后，从总优化目标中减去。公式如下： L_HKL = β * E_{x∈M, y~π_old}[ (1/|y|) * Σ_t φ(d_t(x, y)) ]

4. 实际操作的考量 在代码实现时，我们需要在每一个训练步（batch）中动态识别出“已掌握提示”。通常，这可以通过检查该提示下所有rollout的奖励是否全为1（或达到某个阈值）来判断。然后，仅对这些提示的样本计算额外的铰链KL损失。这里的一个工程细节是，计算KL散度时需要用到旧策略的概率，这些值需要在执行模型前向传播计算新策略概率之前，从缓存中或通过额外的一次前向传播获取并保存好。

3.2 针对多数正确提示：查询权重再平衡

MCPO的第二个核心组件，是重新调整GRPO中优势函数的计算方式，从而改变隐含的查询权重分配。

1. 重新标度优势值 在标准的GRPO中，优势值 A_i = (R_i - mean) / std。MCPO在此基础上引入了一个与提示准确率 p(x) 相关的标度因子： A_i_MCPO = (R_i - mean) / (std * scale(p(x)))

其中，标度函数 scale(p) 定义为：

当 p(x) ≤ 0.5 时，scale(p) = 1。这意味着对于准确率不超过一半的提示，MCPO的处理与GRPO完全一致。
当 p(x) > 0.5 时，scale(p) = 2 * sqrt(p*(1-p))。

2. 权重分配的变化 这个修改带来的直接影响是，推导出的新查询权重 W(x) 发生了变化：

当 p(x) ≤ 0.5 时，W(x) = sqrt(p*(1-p))，与GRPO相同。
当 p(x) > 0.5 时，W(x) = 0.5，是一个常数。

这意味着什么？看图4的曲线就一目了然。对于多数正确提示（p>0.5），其查询权重不再像GRPO那样随着准确率升高而衰减至0，而是被“托举”并稳定在0.5的权重上。这确保了这些即将被攻克的提示，在训练中能持续获得显著且稳定的优化动力。

3. 组合成完整目标 将铰链KL正则化项与基于新权重的策略优化项结合起来，就得到了MCPO的完整目标函数。它同时追求两个目标：在非掌握提示上高效学习（通过重加权后的GRPO目标），在已掌握提示上稳固知识（通过铰链KL约束）。

实操心得：这个标度因子 scale(p) 的设计非常巧妙。它没有粗暴地直接修改权重公式，而是通过调整优势计算的分母来实现，保持了与原有GRPO计算流程的兼容性。在实现时，我们需要在每一个训练批次中，为每个提示计算其 rollout 准确率 p(x)，然后据此计算一个标度向量，在计算损失时作用于每个提示的优势值上。

4. 实验复现与关键细节

为了验证MCPO的有效性，并让读者能亲手复现，我基于论文描述和自身经验，梳理了以下几个关键实验设置和实现细节。

4.1 环境与数据准备

1. 基础模型选择 论文实验主要基于Qwen2-7B/14B的Base模型。选择Base模型而非Chat模型进行RL训练是常见做法，因为其未经对齐，保留了更丰富的知识表达和更强的学习可塑性。在实际操作中，你也可以尝试其他类似规模的优秀开源Base模型，如Llama 3.1、DeepSeek-Coder等，但需要注意其分词器（Tokenizer）和模型结构可能带来的细微差异。

2. 训练数据集 作者使用了DAPO-Math-17K数据集。这是一个包含约1.7万个数学问题-答案对的数据集，专门用于RLVR训练。每个问题通常有确定的答案（如一个数字），便于进行可验证的奖励计算（判断模型输出是否与标准答案匹配）。

3. 评估基准 评估在三个经典的数学推理基准上进行：

AIME 2024/2025：美国数学邀请赛试题，难度较高，能有效区分模型的高级推理能力。
AMC 2023：美国数学竞赛试题，相对基础，用于检验模型在常规问题上的可靠性。评估指标采用 pass@k，即在温度=0.7下对每个问题采样k个答案（文中k=8），只要有一个答案正确即算通过。pass@1 衡量单次生成准确率，pass@8 衡量模型在多次采样中至少给出一个正确解的能力，反映解法的多样性。

4.2 训练流程与超参数设置

1. 训练框架 作者基于VeRL框架实现。VeRL是一个专为RLVR设计的训练框架，集成了数据加载、rollout生成、奖励计算和策略优化等模块。如果你从头实现，需要构建一个类似的训练循环：

TEXT

for each training batch:

1. 从数据集中采样一批提示（prompts）。

2. 使用当前策略模型（旧策略）为每个提示生成G个响应（rollouts，文中G=16）。

3. 对每个响应计算可验证奖励（如数学答案匹配则为1，否则为0）。

4. 根据奖励，为每个提示计算rollout准确率 p(x)，并识别已掌握提示（p(x)=1）。

5. 根据MCPO公式计算每个响应的优势值 A_i_MCPO。

6. 使用旧策略的概率（需在生成时保存）和新策略的概率，计算重要性采样比率和策略损失。

7. 对已掌握提示，额外计算铰链KL正则化损失。

8. 总损失 = 策略损失 - β * 铰链KL损失。

9. 反向传播，更新模型参数。

2. 关键超参数

优化器：AdamW，学习率固定为1e-6。这是一个相对较小的学习率，符合RL训练稳定性的要求。
批次大小：训练批次（global batch size）为128，通常可拆分为更小的微批次（mini-batch size=64）进行梯度累积。
Rollout设置：每个提示生成16个响应，生成温度（temperature）用于评估时（0.7），训练时生成rollout的温度可根据需要调整（有时会使用更高温度以增加探索）。
裁剪参数：沿用DAPO的不对称裁剪，ε_low = 0.2, ε_high = 0.28。这允许对正向优势（好的行为）进行更大胆的更新。
MCPO专属参数：
- 铰链KL损失系数 β = 1.0。这个权重控制了巩固约束的强度。
- 策略漂移容忍预算 δ = 0.01。这是一个关键参数，决定了允许策略自由变化的“安全范围”。设置过小会限制模型微调，设置过大则失去约束作用。

3. 奖励塑形 对于数学推理，奖励通常是二元的（0或1）。但为了处理生成长度，论文采用了“过长惩罚”的奖励塑形：如果生成的响应长度超过某个“惩罚缓存长度”（如4096），则给予负奖励。这有助于模型学习生成简洁的推理链。

4.3 结果分析与解读

根据论文中的表格1，MCPO在两个不同规模的Qwen2模型上， across the board 地超越了基线方法DAPO。

以Qwen2-7B模型在AIME 2024上的结果为例：

DAPO: pass@1 = 40.00%, pass@8 = 64.83%
MCPO: pass@1 = 44.58%, pass@8 = 70.12%

1. 性能提升的显著性 pass@1 提升4.58个百分点，pass@8 提升5.29个百分点。在竞争激烈的数学推理基准上，这种幅度的提升是非常可观的。更重要的是，pass@1 和 pass@8 的同时提升揭示了一个关键事实：MCPO并没有以牺牲探索多样性为代价来换取单次准确率。相反，知识巩固促进了更稳健的推理策略，从而在多次采样中能更稳定地产出正确解，这通常意味着模型学到了更本质的解题思路，而非记忆特定输出模式。

2. 消融实验的启示 表2的消融实验清晰地展示了两个组件的贡献：

仅使用铰链KL损失：在三个基准上，pass@1 和 pass@8 均一致优于纯DAPO基线。这直接证明了约束已掌握提示的策略漂移对于提升整体准确率和稳定性的核心作用。
仅使用查询权重再平衡：主要提升了 pass@8 指标，对 pass@1 的提升在某些数据集上不如铰链KL明显。这说明权重再平衡更有效地促进了解决方案的多样性，让模型在多次尝试中更容易“碰对”答案。
两者结合（完整MCPO）：在绝大多数指标上取得了最佳效果，体现了两个组件的互补性。一个防止遗忘，一个促进攻克难点，共同推动模型能力边界向上移动。

5. 训练动态深度剖析与调优建议

只看最终结果是不够的，训练过程中的动态变化更能揭示方法的本质。MCPO在训练稳定性上表现出了显著优势。

5.1 熵动态：在探索与利用间找到平衡

策略的熵（Entropy）反映了模型输出的不确定性。熵值过高，说明模型输出随机，难以收敛；熵值过低（即“熵崩塌”），则说明模型过于保守，失去了探索新解法的能力。图6展示了MCPO和DAPO在训练中的熵变化。

DAPO的熵在训练中期出现了明显的“熵爆炸”现象，熵值急剧升高。这通常意味着策略更新过于激进，导致输出分布变得极度分散和不稳定，给优化带来了困难。而MCPO的熵曲线则始终维持在一个相对温和、稳定的区间内，既没有出现GRPO中常见的熵崩塌，也避免了DAPO的熵爆炸。这表明铰链KL正则化像是一个“稳定器”，通过约束已掌握区域的政策漂移，间接地平滑了整个策略空间的更新过程。

调优建议：如果你在自己的任务上训练时观察到熵的剧烈波动，可以尝试调整MCPO的 β（铰链KL权重）和 δ（容忍预算）。适当增大 β 或减小 δ 会增强约束力，可能有助于平抑熵的波动；反之则给予模型更多调整自由度。

5.2 提示分布变化：知识巩固的直观体现

图5a和5b展示了训练过程中“已掌握提示”和“全错提示”比例的变化。

已掌握提示比例：MCPO的曲线始终高于DAPO。这意味着在MCPO的训练下，有更多的问题被模型彻底攻克并保持稳定。这是“巩固”效果最直接的证据。
全错提示比例：MCPO的曲线始终低于DAPO。这是一个反直觉但令人惊喜的发现。MCPO本意是巩固已会和半会的知识，但它似乎也间接帮助了那些完全不会的难题。一个可能的解释是，稳固的知识基础为模型提供了更可靠的“思维锚点”，使其在探索难题时能有更合理的推理起点，从而减少了完全迷失的情况。

5.3 已掌握提示的准确率保持

图7复现了之前提到的“策略漂移”实验，但对比了DAPO和MCPO。可以看到，即使引入了铰链KL约束，已掌握提示在下一步的准确率仍然会有微小的下降（从100%到约98%），但这比DAPO（下降到95%）要好得多，且波动更小。这证实了MCPO确实能有效锚定已学知识，但同时也提醒我们，完全杜绝遗忘是极其困难的，我们的目标是将其控制在一个可接受的、微小的范围内。

6. 扩展思考与实战注意事项

MCPO的思想并不局限于数学推理，也不局限于GRPO框架。在实际应用中，我们可以从中汲取更通用的经验。

6.1 方法泛化与适配

1. 任务适配

代码生成：奖励可以是单元测试通过率。已掌握提示可能是那些总能通过测试的简单函数；多数正确提示可能是那些通过率较高的复杂算法题。MCPO的机制同样适用。
逻辑推理/问答：如果有多步可验证的推理链，可以将奖励分解到每一步。MCPO可以帮助模型巩固已经能完美推理的步骤，并加强那些经常出错的中间步骤的训练。
需注意：对于奖励稀疏或延迟严重的任务，定义“已掌握”和“多数正确”可能需要更精巧的设计，例如考虑多轮交互的累积奖励。

2. 与其它RLVR变体结合 MCPO的本质是对优化目标的改进，它可以与许多GRPO的变体结合。例如：

可以与 DAPO 的不对称裁剪（clip-higher）结合，在鼓励探索的同时巩固知识。
可以与 GSPO 的序列级裁剪结合，提升训练稳定性。
可以与处理“全错组”的 NGRPO 等方法结合，形成更全面的优化方案。

6.2 实战中的坑与技巧

1. 已掌握提示的识别阈值 论文中“已掌握”定义为 rollout 准确率 p(x) = 1。但在实际中，由于奖励函数可能不完美（例如，数学答案匹配可能因格式问题误判），或者为了增加鲁棒性，可以设置一个略低于1的阈值（如0.95）。同时，可以设置一个最小计数，例如一个提示至少被采样了5次以上且准确率超过阈值，才被认定为“已掌握”，避免因偶然性而误判。

2. 铰链KL损失的计算效率 计算KL散度需要旧策略的概率。在训练时，需要在生成rollout的那个前向传播过程中，就把每个token在旧策略下的对数概率保存下来。这需要额外的显存开销。对于非常长的序列，需要仔细管理缓存。一种优化方法是，只对已掌握提示的样本计算此损失，从而减少计算量。

3. 超参数 β 和 δ 的调节

β（损失权重）：是平衡“学习新知识”和“巩固旧知识”的关键。一开始可以设为1。如果发现模型学习新知识变慢，可以适当调低（如0.5）；如果发现遗忘严重，可以调高（如2.0）。
δ（容忍预算）：决定了策略可以自由变化的“缓冲区”大小。0.01是一个不错的起点，对应着允许对数概率约有1%的相对变化。对于希望模型保持高度稳定的任务（如已部署系统的微调），可以设得更小（如0.005）；对于希望模型仍有较大演变空间的任务，可以设得大一些（如0.02）。

4. 监控与诊断 在训练过程中，除了常规的损失和奖励曲线，建议额外监控：

已掌握提示比例趋势：应稳步上升并最终趋于平稳。如果下降，可能 β 太小或 δ 太大。
平均策略漂移：计算已掌握提示上平均的 |d_t|。它应该围绕你设定的 δ 值波动。如果远大于 δ，说明约束不够；如果远小于 δ，说明约束可能过强。
不同难度区间的奖励提升：分别统计 easy (p>0.8), medium (0.2<p<0.8), hard (p<0.2) 提示的奖励变化，看MCPO是否真的改善了中等偏上提示的学习效率。

MCPO为我们提供了一种清晰而有效的视角：强化学习训练大语言模型，不仅要关注如何学得更多，更要关注如何学得更稳。它通过针对性的正则化和权重调整，模拟了人类学习中“复习”和“重点突破”的过程。在实际项目中引入这种思想，往往能以较小的改动代价，换来训练稳定性和最终性能的显著提升。尤其是在模型能力进入平台期时，检查一下是否存在“知识遗忘”和“难点攻坚乏力”的问题，或许MCPO的思路能给你带来新的突破方向。