8.7 PPO中的Critic网络

二向箔不会思考 2023-01-13 03:36:47

课时名称课时知识点
8.7 PPO中的Critic网络详细介绍PPO算法中的重要技巧，使用critic网络
...全文
302 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
人人都能看懂的RL-PPO理论知识
所以去年我就想接着敲一篇比较严谨的介绍强化学习理论的文章（策略梯度->actor-critic -> PPO），但是由于敲公式真得太累了，所以一直delay到今天。所以今天这篇文章就来做这件事，我的主要参考资料是Sutton的这本...
保姆级教程：用Reward+Critic模型玩转ChatGPT风格优化（附PPO训练示例）
本文提供了一份详细的RLHF实践指南，重点解析了Reward Model与Critic Model在优化ChatGPT风格对话模型中的核心作用与协同机制。文章通过PPO训练示例，深入探讨了如何构建双模型架构以解决奖励延迟分配问题，并分享了...
PPO、GRPO、GSPO 完整对比解析
PPO：使用token级重要性比率和裁剪机制，需要价值网络估计优势函数 GRPO：使用token级重要性比率但采用群组归一化优势，去除价值网络依赖 GSPO：使用序列级重要性比率和序列级裁剪，解决token级方法的根本问题P(A∣B...
智能体在车联网中的应用：第47天 基于PPO的V2X交叉路口智能驾驶训练与对比实验报告
本实验报告对比了基于PPO算法训练的V2X智能体与传统感知智能体在交叉路口场景中的表现。实验结果显示，V2X智能体在通过率(92.3% vs 68.7%)、安全性(碰撞率1.2% vs 18.5%)、效率(通过时间15.2s vs 21.8s)和舒适度等...
第8章 强化学习改进（扩展与工程落地）：将 ReAct 视为策略（PPO / RL）
高质量 cold-start：用 curated ReAct 轨迹做 SFT，保证语言质量。...PPO 精炼：在 LoRA + critic 架构上做最终精调，注意优势标准化与 KL 控制。评估与蒸馏：自动化对抗评估与人类评估；把策略蒸馏成轻量化生产模型。
枫老师的课程社区_NO_1

2

社区成员

49

社区内容

发帖
与我相关
我的任务
社区描述
本AI正在冥想中~
社区管理员
  • 二向箔不会思考
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章