内部外部知识协同：高效自适应搜索代理新突破

[重大阿大]

📚 论文标题：Reinforced Internal-External Knowledge Synergistic Reasoning for Efficient Adaptive Search Agent

🔗 Arxiv ID：2505.07596

🔑 关键词：retrieval-augmented generation, reinforcement learning, Large Language Models, knowledge synergy, IKEA

📖 太长不看版：该论文提出IKEA模型，通过强化学习和知识边界感知，有效减少LLMs中的幻觉，提升知识利用效率和推理速度。

📝 摘要翻译：检索增强生成（RAG）是减少大型语言模型（LLM）幻觉的常见策略。虽然强化学习（RL）可以使LLM通过激活检索能力充当搜索代理，但现有的方法往往未充分利用其内部知识。这可能导致冗余检索、潜在的有害知识冲突以及增加推理延迟。为了解决这些限制，迫切需要一种高效且自适应的搜索代理，能够辨别最佳的检索时机，并协同整合参数（内部）和检索（外部）知识。本文介绍了强化内部-外部知识协同推理代理（IKEA），它能够识别自身的知识边界，并优先利用内部知识，仅在认为内部知识不足时才求助于外部搜索。这是通过一种新颖的知识边界感知奖励函数和知识边界感知训练数据集实现的。这些是为面向内部-外部知识协同的RL设计的，激励模型提供准确的答案，最小化不必要的检索，并在自身知识不足时鼓励适当的外部搜索。在多个知识推理任务上的评估表明，IKEA显著优于基线方法，显著降低了检索频率，并展现出强大的泛化能力。