8.5 PPO如何解决REINFORCE算法的缺点

二向箔不会思考 2023-01-13 03:36:47

课时名称	课时知识点
8.5 PPO如何解决REINFORCE算法的缺点	介绍REINFORCE算法存在的问题以及解决方向

...全文

183 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

在本章中，我们学习了一类新的强化学习算法，称为政策梯度。与之前章节中研究的价值函数方法相比，这些算法以不同的方式解决强化学习问题。PG 方法的简化版本叫做 REINFORCE，这一方法在本章过程中进行了学习、实现和测试。随后，我们提出在 REINFORCE 中加入基准值，以减少方差并提高算法的收敛性。AC 算法不需要使用评估者的完整轨迹，因此我们用 AC 模型解决了同样的问题。在掌握经典的政策梯度算法的基础上，我们可以进一步深入。在下一章，我们将介绍一些更复杂、前沿的政策梯度算法；即，信任区域策略优化。

在强化学习的数学模型中，有几个关键函数需要明确定义。理解这些函数的输入和输出，对于理解整个算法至关重要。函数之间的关系策略函数：π(a|s) → 动作概率分布↓动作函数：a ~ π(·|s) → 实际动作↓环境交互：执行动作a，获得奖励r和下一状态s'↓价值函数：V(s) 和 Q(s,a) → 评估状态和动作的价值↓优势函数：A(s,a) = Q(s,a) - V(s) → 评估动作的优势↓策略更新：使用优势函数更新策略函数关键公式状态价值与动作价值的关系优势函数的定义。

我们首先从简单的基于模型的方法开始我们的旅程，其中我们通过迭代贝尔曼方程来解决小的、离散的状态空间问题。接下来，我们讨论了使用蒙特卡罗和时间差分方法的无模型设置。然后，我们使用函数近似将分析扩展到大的或连续的状态空间。特别是，我们将 DQN 及其许多变体视为政策学习的途径。所有这些方法的核心思想是首先了解当前政策的价值，然后对政策进行迭代改进以获得更好的回报。这是使用广义政策迭代(GPI) *的一般框架完成的。

状态（State）：你当前的情况（车把角度、速度、平衡情况）动作（Action）：你采取的行动（向左转、向右转、加速、减速）奖励（Reward）：你得到的反馈（保持平衡+1分，摔倒-10分）策略（Policy）：你学习到的"经验"（在什么情况下应该做什么动作）强化学习就是让计算机（智能体）通过不断尝试，学习到最优的策略，从而在环境中获得最大的累积奖励。重要性采样（Importance Sampling）：用旧策略的数据来估计新策略的期望值问题：我们想计算新策略的期望值，但只有旧策略的数据解决方案。

枫老师的课程社区_NO_1

2

社区成员

49

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章