ProtoCycle：基于反馈迭代的LLM智能体蛋白质设计新范式
1. 项目概述：从“一步到位”到“多轮迭代”的范式转变
在蛋白质设计的战场上，我们一直梦想着能像用自然语言描述一个功能那样，直接“写”出完美的氨基酸序列。过去几年，随着大型语言模型（LLM）的崛起，这个梦想似乎触手可及。一个直观的想法是：既然LLM能理解复杂指令并生成文本，那把它微调成一个“文本到序列”的翻译器不就行了？很多团队确实这么干了，投入海量数据和算力去训练端到端的模型。但现实往往比理想骨感。我自己在尝试用Qwen、Llama等模型直接生成蛋白质序列时，发现了一个有趣又令人头疼的现象：模型能头头是道地给你写出一份漂亮的“设计规划书”，告诉你应该用什么结构域、在哪个活性位点做突变，但真让它把规划变成具体的氨基酸序列时，生成的结果却常常惨不忍睹——要么氨基酸组成严重失衡，要么序列根本没法折叠成稳定结构。
这背后反映的，正是蛋白质设计领域一个深层次的“规划-执行鸿沟”。LLM在文本空间里是强大的规划师，但让它直接操作那20个氨基酸字母表，进行原子级别的精确排列，就显得力不从心了。这就像让一位建筑大师画好了宏伟的蓝图，却让他亲自去砌每一块砖——专业不对口，效率和质量都难以保证。
ProtoCycle的提出，正是为了弥合这道鸿沟。它没有硬逼着LLM去干它不擅长的事，而是借鉴了人类蛋白质工程师的真实工作流：迭代、反馈、修正。没有人能一次就设计出完美的蛋白质。工程师们通常是先找个合适的骨架（Scaffold），然后在关键的功能位点（Functional Site）进行局部设计和优化，接着用计算工具评估候选序列的可折叠性和功能匹配度，如果结果不理想，就回过头来调整策略，再来一轮。ProtoCycle将这个“设计-评估-修正”的循环自动化了。它让LLM回归其“战略大脑”的定位，负责高层规划、工具调度和策略反思；而把具体的“体力活”——序列检索、局部生成、结构评估——交给一系列轻量、高效的专业化工具。这种“大脑”与“手脚”的协同，不仅大幅降低了对训练数据量的需求（仅需约2500个样本进行规划器优化），更重要的是，它引入了一个基于反馈的反思机制，让AI设计过程具备了类似人类的“学习”和“调整”能力。
2. 核心设计思路：构建一个反馈驱动的智能体工作流
2.1 问题重定义：从生成任务到决策过程
传统方法将文本引导的蛋白质设计视为一个静态的“输入-输出”映射问题：给定一段文本描述 r，模型直接输出一个序列 s。ProtoCycle则将其重新定义为一个多轮的序列决策过程。
在这个框架下，智能体（Agent）在每一轮 t 中，都会根据当前的状态 s_t 和上一轮工具反馈 t_t，来决策下一步的行动 a_t。这个行动会被分解为工具类型 a_type 和工具参数 a_arg。执行行动后，环境（即工具集）会返回一个反馈 t_{t+1}，其中包含了本轮生成序列的质量评估。智能体据此更新状态，决定是继续执行原计划、修改策略，还是终止流程并输出最佳序列。
这种形式化的转变至关重要。它不再要求模型一次性记住从文本到序列的所有复杂映射规则，而是将其分解为一系列可管理的子任务：理解需求、选择工具、解读结果、调整方向。这极大地降低了单步决策的复杂度，也更符合认知逻辑。
2.2 工具环境设计：轻量、高效、专业化
ProtoCycle的成功，很大程度上得益于其精心设计的工具环境。这个环境没有追求大而全的“全能模型”，而是由三个分工明确、计算高效的专用工具构成，完美模拟了人类工程师的常用操作。
1. 骨架生成工具 这个工具的核心是检索与融合。给定一段自由文本描述（例如：“设计一个能结合ATP的氧化还原酶”），它不会从零开始生成序列，而是从多个蛋白质知识库（如UniProt、InterPro、Rhea）中检索相关的已知蛋白质序列或结构域。然后，它会根据文本语义的匹配度，筛选并拼接出若干个候选的“骨架”序列。这样做有几个好处：一是保证了生成序列的生物学合理性（源于天然蛋白质），二是极大地提升了多样性，三是计算成本极低，通常几秒钟就能完成一轮检索。在实际操作中，你需要为不同的数据库设计好查询模板，并将文本描述映射到特定的关键词或GO术语上。
2. 功能位点设计工具 这是进行“精雕细琢”的环节。给定一个选定的骨架序列和一段针对局部区域的文本描述（例如：“在活性口袋引入带正电的残基以稳定磷酸基团”），该工具会在骨架的指定区域进行局部序列变异。它的后台通常是一个轻量级的蛋白质语言模型（如ESM2-3B）。通过条件生成或基于梯度的优化，它能在保持整体折叠稳定的前提下，对局部氨基酸进行“编辑”。这个工具是连接高层功能描述与底层序列细节的关键桥梁。一个实用的技巧是，将局部描述与骨架的上下文一起输入模型，并采用自回归或掩码填充的方式生成变异，这样能更好地保持序列的连贯性。
3. 评估工具 评估是驱动迭代循环的“指挥棒”。ProtoCycle主要从两个维度进行评估：
- 语言对齐度：使用ProTrek模型（这里用了轻量级的35M版本进行每轮快速反馈，用650M版本进行最终评分）来计算生成的蛋白质序列嵌入与输入文本描述嵌入之间的相似度。分数越高，说明序列与文本要求越匹配。
- 可折叠性：使用Chai-1等结构预测工具（无需多序列比对模式）来评估序列折叠成稳定三维结构的可能性。主要看三个指标：预测的TM-score（pTM，衡量结构与天然结构的相似性）、预测的局部距离差异测试（pLDDT，每个残基的置信度）和预测的对齐误差（PAE，残基间距离误差）。pTM和pLDDT越高、PAE越低，说明序列越可能形成稳定折叠。
将评估集成到循环中，使得每一步操作都有了即时的“质量反馈”，这是实现反思和策略调整的基础。
2.3 规划器架构：状态、行动与反思
规划器是ProtoCycle的“大脑”，其输出结构被精心设计为三个部分：<state>、<plan>和<tool_call>。
<state>：在首轮，规划器对文本需求r进行分解，拆解成更细粒度的子需求{r1, r2, ..., rn}。例如，“设计一个耐热的纤维素酶”可能被分解为“寻找水解纤维素的催化域骨架”和“在蛋白质表面引入二硫键以提高热稳定性”。在后续轮次，<state>的核心任务是反思。它需要总结当前策略的表现，分析之前的轨迹{s_{t-1}, t_{t-1}, ...}，并决定下一步是继续、修改还是终止。<plan>：将<state>中的决策具体化。在首轮，它将每个子需求映射到具体的工具配置和执行顺序。在后续轮次，它明确写出将要执行的下一个子目标或更新后的策略。<tool_call>：这是一个JSON格式的指令，明确指定要调用哪个工具（scaffold_search,local_design,evaluate）以及具体的参数（如检索数量、编辑位点、评估的候选序列列表）。一个轻量级的运行时解析器会执行这个调用。
反思机制是规划器智能的核心。它不仅仅是被动接收工具反馈的分数，而是主动分析这些反馈。例如，当工具返回“本轮最佳分数为10.5，较全局最佳分数9.8提升了0.7”时，规划器需要判断：这个提升是否显著？当前的编辑策略是否有效？是否需要更换活性位点？或者干脆回溯，重新选择一个不同的骨架？这种基于反馈的深度分析，使得智能体能够跳出僵化的固定流程，进行动态的、目标导向的搜索。
3. 训练策略：从模仿学习到强化学习
让一个LLM学会熟练地使用工具并进行反思，并非易事。ProtoCycle采用了一种经典的“冷启动+强化学习”的两阶段训练策略，这在复杂决策任务中被证明非常有效。
3.1 监督微调：学习基础协议与工具使用
第一阶段是监督微调。目标是让规划器学会基本的“语言”：即如何生成格式正确的<state>, <plan>, <tool_call>，以及理解工具调用的基本规范。
数据收集：我们通过在工具环境中运行一些简单的启发式策略或人工编写的规则，收集一批成功的交互轨迹。每条轨迹都是一个序列：(r, s1, t1, s2, t2, ..., sn, tn)，其中包含了从初始需求到最终输出的完整决策和反馈历史。
训练目标：采用标准的交叉熵损失，但只对规划器输出的状态 s_i 进行建模。损失函数为：
L_SFT = -1/n * Σ log p_θ(s_i | r, s_<i, t_<i)
这迫使模型学会在给定历史交互和当前需求的情况下，预测出下一步合理的状态和计划。这个过程本质上是让模型“模仿”示范轨迹中的专家行为。一个关键细节是，训练数据需要覆盖各种不同的场景和决策分支，包括那些遇到挫折后成功调整的案例，这样才能让模型学会反思。
3.2 在线强化学习：在环境中学习优化策略
SFT让模型学会了“语法”，但要让其学会“在复杂环境中达成目标”，就需要强化学习。ProtoCycle将规划器视为一个随机策略 π_θ，在真实的工具环境中进行在线交互和学习。
奖励函数设计：RL的成功极度依赖于奖励函数的设计。ProtoCycle采用了一个组合奖励信号，鼓励以下行为：
- 格式正确奖励：确保生成的
<tool_call>能被正确解析。 - 工具使用合理性奖励：例如，不能在还没选定骨架时就调用局部编辑工具。
- 反思触发奖励：当中间反馈分数较差时，如果规划器做出了显著的策略调整（如
<state>中分析了失败原因并提出了新方案），则给予正向奖励。 - 任务完成度与效率奖励：最终输出序列的语言对齐度和可折叠性分数构成主要奖励。同时，引入一个随时间衰减的因子或对总轮数设置上限，鼓励智能体用更少的步骤解决问题，避免无意义的循环。
优化算法：论文中采用了Group Relative Policy Optimization (GRPO)。相比于标准的PPO，GRPO通过组内归一化等方式减少了方差，在语言模型策略优化中往往更稳定。在实践中，我发现设置一个合适的优势估计剪裁范围和策略更新幅度非常重要，否则很容易导致训练不稳定或策略崩溃。
在线交互：模型在训练过程中，不断地在工具环境里“试错”。它根据当前策略生成行动，获得奖励和新的状态，然后用这些数据更新策略。这个过程使得模型不仅能学会使用工具，更能学会何时使用何种工具、如何解读反馈以及何时应该停止。例如，模型会学到，如果连续两轮局部编辑都无法提升分数，那么更优的策略可能是回溯并尝试一个不同的骨架，而不是在同一个死胡同里继续浪费计算资源。
4. 实操要点与避坑指南
4.1 工具环境搭建细节
骨架检索的实现：不要只依赖一个数据库。UniProt适合通用蛋白检索，InterPro适合基于结构域或家族功能的检索，Rhea则对酶反应相关蛋白特别有用。你需要为每个数据库编写适配器，将自然语言描述转换为标准的查询语句（如SPARQL查询或关键词搜索）。检索结果后，简单的基于序列相似度的聚类和选取中心序列作为代表，是一种快速获取多样骨架的方法。更高级的做法可以引入语义相似度进行重排序。
局部设计工具的选择：ESM2是一个不错的起点，因为它提供了强大的上下文感知能力。你可以使用其masked-margin或conditional-generation接口。关键技巧在于如何构建条件输入。除了局部文本描述，最好将骨架序列的全局上下文（尤其是待编辑区域前后各50-100个残基）也作为条件输入，这样模型在编辑时能更好地考虑长程相互作用。对于更复杂的编辑（如插入、删除），可能需要使用专门训练的序列到序列模型。
评估工具的效率权衡：ProTrek-35M和Chai-1 (no-MSA) 虽然比它们的完整版快，但在每轮交互中都调用仍然是最耗时的部分。一个实用的优化是缓存机制：对相同的序列或高度相似的序列，直接返回之前的评估结果。另外，可以设置一个“快速淘汰”阈值，例如，如果一轮中所有候选序列的ProTrek分数都低于某个值，则提前终止该分支的探索，将计算资源集中在更有希望的路径上。
4.2 规划器训练中的关键技巧
轨迹数据构建：SFT阶段的数据质量决定了下限。除了收集成功的轨迹，故意构造一些包含常见错误的轨迹并标注正确的修正，对模型学会反思至关重要。例如，可以构造一个轨迹：第一轮骨架检索结果不佳（分数低），规划器错误地选择了“继续编辑当前骨架”，导致后续轮次分数停滞；然后展示正确的反思行为：“分析发现骨架匹配度低，应回溯并重新检索骨架”。
奖励塑形：RL阶段的奖励函数需要精心调试。直接使用最终分数作为稀疏奖励，学习信号太弱。我的经验是，设计密集的中间奖励。例如，给予“本轮最佳分数相比上轮有提升”一个小的正向奖励；给予“生成序列的氨基酸组成与天然蛋白分布更接近”一个奖励。这能更及时地引导模型行为。同时，对无效工具调用（如参数错误导致调用失败）施加明确的负奖励。
课程学习：一开始就让模型在复杂环境中学习所有操作非常困难。可以采用课程学习，先从简单的任务开始（例如，只使用骨架检索和评估工具，目标是从给定集合中找到最佳匹配），然后逐步引入更复杂的操作（如局部编辑、多轮迭代）。这能显著提升训练稳定性和最终性能。
4.3 反思机制的具体实现
反思不是一句空话，需要在<state>的输出中有具体的体现。一个好的<state>应该包含：
- 现状总结：“当前全局最佳分数是X，上一轮操作（工具Y，参数Z）产生了W个候选，最佳分数为X'，提升/下降了Δ。”
- 归因分析：“分数提升可能源于对活性位点A的成功修饰；分数下降可能因为骨架B与功能需求C匹配度不足。”
- 策略决策：“基于以上分析，决定放弃当前骨架，重新执行骨架检索，并加入关键词D以缩小范围。” 或 “当前策略有效，将继续对位点E进行第二轮优化，尝试引入疏水残基。”
在模型训练中，可以通过在SFT数据中显式标注高质量的反思文本来引导模型学会这种思考模式。
5. 效果评估与结果解读
ProtoCycle在Mol-Instructions和CAMEO两个基准测试上都取得了显著效果。我们重点分析几个核心结论。
语言对齐与可折叠性的平衡：如表2所示，ProtoCycle-RL在语言对齐指标（ProTrek, EvoLLaMA, Retrieval）上全面领先或比肩最先进的端到端模型Pinal和ProDVa，同时在可折叠性指标（pTM, pLDDT, PAE）上保持了高度竞争力。这验证了其核心价值：通过将LLM专注于其擅长的规划与反思，并委托专业工具处理序列生成，实现了效果与效率的双赢。特别值得注意的是，ProtoCycle仅用了约2500个训练样本进行规划器优化，而Pinal的训练数据高达17亿对。这充分体现了代理范式在数据效率上的巨大优势。
反思机制的决定性作用：图4、5、6的消融实验清晰地展示了反思的力量。没有反思的固定工作流或SFT模型，其性能提升很快达到瓶颈。而具备反思能力的ProtoCycle，其成功率和序列质量随着交互轮次持续增长。图5b显示，反思将“有效工具调用”和“带来提升的工具调用”比率分别提高了约20%和40%。这意味着反思让规划器不仅更少犯错，而且更能做出能推动进程的“聪明”决策。图6a则表明，反思带来的净收益（相比第一步结果的提升）是非反思基线的近6倍。
泛化能力：在CAMEO数据集上的测试（表3）尤为令人印象深刻。CAMEO使用的是关键词式描述（如“hydrolase, ATP-binding”），而非Mol-Instructions中的自然语言句子。ProtoCycle在没有接受过任何关键词风格数据训练的情况下，其性能与使用了8亿关键词-蛋白质对训练的Pinal模型相当，甚至在关键词恢复率上显著超越。这强有力地证明了ProtoCycle框架学会了一种通用的、与任务描述格式无关的蛋白质设计问题求解方法，而不是简单地记忆数据模式。
6. 局限性与未来展望
尽管ProtoCycle表现出色，但我们必须清醒地认识到其当前的局限性，这也是我们未来可以发力的方向。
工具能力的上限：ProtoCycle当前的功能位点设计工具是基于ESM2的轻量级模型。它能进行合理的局部扰动和优化，但对于需要实现特定、复杂三维几何构象（如精确的底物结合口袋、催化三联体的精确排布）的设计任务，其能力仍有不足。这类任务往往需要结合更强大的基于结构的生成模型（如RFdiffusion, Chroma）或物理模拟。未来的一个方向是将这些更强大的“工具”集成到ProtoCycle的框架中，让LLM规划器来调度这些重型武器。
计算吞吐量与质量的权衡：代理式工作流固有的缺点是延迟。每一轮交互都涉及LLM推理和工具调用（特别是结构预测），导致单次设计的墙钟时间远高于一次性生成模型。这对于需要高通量筛选的应用场景是一个挑战。优化方向包括：开发更轻量、更快的评估代理模型；实现工具调用的异步并行；以及让规划器学会更早地剪枝低潜力分支。
对模糊或冲突需求的处理：当文本描述存在歧义或内部矛盾时（例如，“一个非常稳定但又高度柔性的酶”），人类工程师会主动澄清需求。当前的ProtoCycle尚不具备这种主动询问的能力。未来可以引入与用户的交互轮次，让规划器在遇到不确定性时，能生成澄清性问题。
从“in silico”到“in vitro”的鸿沟：最终，设计的蛋白质需要在湿实验室中验证。计算指标（如pLDDT, ProTrek）与实验验证的真实功能之间还存在差距。一个激动人心的未来方向是将实验反馈也纳入循环。即，将计算设计出的少数顶级候选序列进行合成与初步实验，将实验数据（如表达量、活性、稳定性）作为反馈信号输入给规划器，进行下一轮的设计优化，形成一个真正的“计算-实验”闭环。
ProtoCycle为我们打开了一扇门，它展示了一种将LLM的认知规划能力与领域专用工具的计算能力相结合的新范式。这条路不仅适用于蛋白质设计，对于材料设计、小分子药物发现等任何需要复杂、迭代设计的科学发现任务，都具有深刻的启示意义。它的核心思想——让合适的工具做合适的事，并用一个智能的“大脑”来协调整个过程——或许正是我们迈向下一代AI辅助科学发现的关键一步。