注：本节内容是对Sutton的《Reinforcement Learning：An Introduction》第八章的理解整理~ 这里是第七节
实时动态规划
实时动态规划（real-time dynamic programming, RTDP）是动态规划（Dynamic programming, DP）值迭代算法的同轨策略轨迹采样版本。
RTDP 是异步DP算法的一个例子，在RTDP中 更新顺序是由真实或模拟轨迹中状态被访问的顺序决定的。
对于控制问题，目标是找到最优策略，而不是像预测问题一样评估给定的策略。对于那些永远都不可能到达的状态，我们不需要指定最优动作。
只要找到策略对于相关的状态是最优的即可，对不相关的状态可以指定任意的甚至是未定义的动作。
传统的值迭代方法更新所有的价值，而RTDP则关注与问题状态相关的状态自己。随着学习的进行，这一关注点范围越来越窄。因为RTDP的收敛定理适用于模拟情况，所以我们知道RTDP最终将只关注相关状态，即构成最优路径的状态。
注
仔细理清楚DP与RTDP之间的关系，它们注重什么？
标签：状态,--,学习,RTDP,最优,动态,规划,DP 来源： https://www.cnblogs.com/yuyuanliu/p/15394684.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。