（散分）请问上海通方软件，怎么样？（顶着有分）

时序差分学习(Temporal-Difference Learning)

时序差分学习(Temporal-Difference Learning)结合了动态规划和蒙特卡洛方法，是强化学习的核心思想。 蒙特卡洛的方法是模拟（或者经历）一段序列，在序列结束后，根据序列上各个状态的价值，来估计状态价值。  时序差分学习是模拟（或者经历）一段序列，每行动一步（或者几步），根据新状态的价值，然后估计执行前的状态价值。  可以认为蒙特卡洛的方法是最大步数的时序差分学习。

【RL】Temporal-Difference Learning（时序差分方法）

简述强化学习中时序差分算法

强化学习 时序差分学习(Temporal-Difference Learning)

时序差分学习是一种通过时序自举(bootstrap)的方式采样数据，通过最小化差分更新参数的一种model-free学习方法。根据Expected Return的不同近似方法，分为one-step、n-step、TD(λ)、蒙特卡洛方法等。

《强化学习Sutton》读书笔记（五）——时序差分学习（Temporal-Difference Learning）

此为《强化学习》第六章 Temporal-Difference Learning 。 时序差分学习 (Temporal-Difference Learning, TD) 是强化学习的核心。TD学习是蒙特卡洛MC法和动态规划DP法的综合，它可以像MC那样，不需要知道环境的全部信息，通过交互就能学习；同时，它也可以像DP那样，在（其他值函数）估计的基础上进行估计，从而不需要求解完整个事件(Episo...

【强化学习算法】Temporal Difference learning for Model Predictive Control论文(TDMPC)总结

Model-based和model-free的本质区别是agent是否利用环境模型（或称为环境的动力学模型），例如状态转移函数PPP和奖励函数RRR。在通常情况下，agent并不知道环境的奖励函数RRR和状态转移函数p(s′∣s,a)p(s'|s,a)p(s′∣s,a)，所以需要通过和环境交互，不断试错（Trials and Errors），观察环境相关信息并利用反馈的奖励信号来不断学习。