一种干扰消除的低秩适配方法用于持续学习

持续学习多模态大模型 2025-06-18 15:17:21

论文：Consistent Prompting for Rehearsal-Free Continual Learning

引言

持续学习 (Continual Learning) 是指模型在不断获取新知识的同时，能够保留已有知识，避免灾难性遗忘 (Catastrophic Forgetting)。由于数据隐私或内存限制等因素，传统的基于再学习 (Rehearsal-based) 的持续学习方法难以应用。因此，基于提示 (Prompt-based) 的方法因其高效性和灵活性而备受关注。然而，现有基于提示的持续学习方法在训练和测试过程中存在不一致性，限制了其性能。

现有方法的局限性

现有基于提示的持续学习方法主要存在两类不一致性：

分类器不一致性: 训练过程只关注当前任务的分类器，而测试过程则使用所有任务的分类器进行预测，导致不同分类器之间缺乏一致性，影响预测准确性。
提示不一致性: 测试过程中选择的提示可能与训练过程中学习的提示不匹配，导致模型无法有效地利用已有知识，降低性能。

Consistent Prompting (CPrompt)

为了解决上述问题，本文提出了一种新的基于提示的持续学习方法：Consistent Prompting (CPrompt)。CPrompt 通过两个模块来保证训练和测试的一致性：

分类器一致性学习 (Classifier Consistency Learning, CCL): 将当前任务的提示训练应用于所有已见的分类器，通过平滑正则化损失函数来调节不同分类器之间的行为，使其对同一输入具有一致的预测结果。
提示一致性学习 (Prompt Consistency Learning, PCL): 通过随机选择当前任务提示池中的提示进行训练，增强分类器对不同提示的适应性，提高预测鲁棒性。此外，PCL 还引入了多键机制，通过为每个类别分配多个键来提高提示选择准确性。

实验结果

在四个持续学习基准数据集上进行的实验结果表明，CPrompt 在多个指标上均优于现有的基于提示的持续学习方法，实现了最先进的性能。此外，消融实验和详细分析也证明了 CCL 和 PCL 两个模块的有效性。

CCL 的作用

CCL 通过调节不同分类器之间的行为，使其对同一输入具有一致的预测结果，从而提高了模型的整体预测准确性。实验结果表明，包含 CCL 的 CPrompt 在 Last-acc 和 Avg-acc 两个指标上均显著优于不含 CCL 的模型。

PCL 的作用

PCL 通过随机选择当前任务提示池中的提示进行训练，增强了分类器对不同提示的适应性，提高了预测鲁棒性。此外，多键机制有效地提高了提示选择准确性，进一步提升了模型性能。实验结果表明，包含 PCL 的 CPrompt 在 Last-acc 和 Avg-acc 两个指标上均显著优于不含 PCL 的模型。

辅助分类器 C_aux

在 PCL 模块中，辅助分类器 C_aux 被用于训练当前任务提示 P_t。C_aux 的引入避免了分类器 C_t 过度依赖当前任务提示，提高了模型对不同提示的适应性，从而增强了训练和测试的一致性。

多键机制

多键机制通过为每个类别分配多个键来提高提示选择准确性。实验结果表明，多键机制能够有效地提高提示选择准确性，从而进一步提升模型性能。

结论与展望

本文提出的 CPrompt 方法有效地解决了现有基于提示的持续学习方法中存在的训练-测试不一致性问题，实现了最先进的性能。未来，我们将进一步探索以下方向：

提高提示选择准确性：进一步改进多键机制或其他提示选择方法，以进一步提高提示选择准确性，从而进一步提升模型性能。
探索其他应用场景：将 CPrompt 方法应用于其他持续学习场景，例如跨域持续学习和小样本持续学习，以验证其通用性和有效性。

技术细节

CPrompt 的整体框架: CPrompt 包括 CCL 和 PCL 两个模块，CCL 用于训练所有已见的分类器，PCL 用于训练当前任务提示并提高提示选择准确性。
CCL 的损失函数: CCL 使用平滑正则化损失函数来调节不同分类器之间的行为，使其对同一输入具有一致的预测结果。
PCL 的损失函数: PCL 使用交叉熵损失函数来训练分类器，使其能够根据不同的提示进行准确的预测。
多键机制: 多键机制为每个类别分配多个键，通过计算查询特征与键之间的余弦相似度来选择最相关的提示。
辅助分类器 C_aux: C_aux 被用于训练当前任务提示 P_t，以避免分类器 C_t 过度依赖当前任务提示，提高模型对不同提示的适应性。

...全文