不理解为什么强化学习过程中需要分别计算V(s)和A(s,a)这两个参数呢？

Kirara绵绵冰 2021-12-02 09:56:38

不理解为什么强化学习过程中需要分别计算V(s)和A(s,a)这两个参数呢？

...全文

1981 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-12-02

打赏
举报

回复

通过解耦估计，DDQN可以直观地了解哪些状态是（或不是）有价值的，而不必了解每个状态下每个动作的效果（因此，还是需要计算V(s)的）。使用原版的 DQN，需要计算某个状态state下每个动作的值。但如果该状态state不好，这样就做有什么意义呢？通过解耦计算 V(s)，找出对于那些任何行为都不会被影响的状态尤其有用。在这种情况下，不必计算每个动作的值。

强化学习 主要参考西瓜书和一些网上视频加上个人理解，欢迎互动。 强化学习的model如下图所示，机器在当前状态下做出动作a，然后环境反馈给机器下一个状态和一个奖励。假定状态空间X，每一个状态x∈X，动作空间A，每一个动作a∈A，奖赏函数为R，P为状态转移函数，那么强化学习对应了四元组E=<X,A,P,R>。此处以西瓜浇水为例：机器通过在环境中不断尝试来学得一个最...

强化学习里面的概念、公式，相比ML/DL特别多，初学者刚学RL时，很容易被接连不断的概念、公式给绕晕，而且经常忘记概念与公式符号表达的一一对应(包括我自己在1.10日之前对好多满是概念/公式的RL书完全看不下去，如今都看得懂了，故如果读文本之前，你正在被RL各种公式困扰，相信看完这篇RL极简入门后就完全不一样了)。

但是我们实际上并没有真实价值函数（要不然干嘛还要更新这个价值函数呢），所以只能用不同的方法去估计这个真实价值函数值，也就是上式。采用不同的估计方法就产生了不同的基于值的强化学习算法。上式是V更新过程的理想公式，真实价值函数值与过去价值函数值的差就是应当更新价值函数的方向。确定策略梯度：理解为“带权重的梯度”，G为代表好坏的权重，为代表方向的梯度（注意这个梯度跟目标函数梯度不同）后续Q的更新公式是一样的，思路都是一样的。确定策略梯度：理解为找最大的Q。

【强化学习】什么强化学习算法？一、强化学习解决什么问题？二、强化学习如何解决问题？2.1、强化学习的基本框架2.2、强化学习系统的要素2.3、强化学习与监督学习的区别2.4、强化学习与非监督学习的区别三、强化学习实例3.1、训练Tic-Tac-Toe游戏玩家的强化学习理解3.2、训练Tic-Tac-Toe游戏玩家的python代码参考资料本博文通过参考《深入浅出强化学习原理入门》的第一章与《Re...

强化学习（reinforcement learning，RL）讨论的问题是智能体（agent）怎么在复杂、不确定的环境（environment）中最大化它能获得的奖励。如图 1.1 所示，强化学习由两部分组成：智能体和环境。在强化学习过程中，智能体与环境一直在交互。智能体在环境中获取某个状态后，它会利用该状态输出一个动作（action），这个动作也称为决策（decision）。然后这个动作会在环境中被执行，环境会根据智能体采取的动作，输出下一个状态以及当前这个动作带来的奖励。

高通开发者论坛

2,852

社区成员

5,758

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章