标签：learning right network Double Reinforcement Learning DQN left

该文章是针对Hado van Hasselt于2010年提出的Double Q-learning算法的进一步拓展，是结合了DQN网络后，提出的关于DQN的Double Q-learning算法。该算法主要目的是修正DQN中max项所产生的过高估计问题，所谓过高估计，在前面的博客Issues in Using Function Approximation for Reinforcement Learning阅读笔记中已经有所讨论。

主要方法是采用下面公式替代DQN算法中从经验池采样针对$y_{j}$的计算：

\[Y _ { t } ^ { \text { DoubleQ } } \equiv R _ { t + 1 } + \gamma Q \left( S _ { t + 1 } , \underset { a } { \operatorname { argmax } } Q \left( S _ { t + 1 } , a ; \boldsymbol { \theta } _ { t } \right) ; \boldsymbol { \theta } _ { t } ^ { - } \right)\]

上式即通过online network选择最好的action的，再用target network计算state-value function值，这与2015 Nature版DQN直接利用target network计算有所区别。

论文采用了一个简化的强化学习例子说明这一观点，假设a的选择并不影响Q(s,a)值，即满足$Q_*(s,a)=V_*(s)$。我们希望找到一个Q(s,a)的估计函数，满足：

\[\sum_a(Q_t(s,a)-V_*(s,a))=0\]

但是由于估计误差的存在，假设有$\frac{1}{m}\sum_a(Q_t(s,a)-V_*(s,a))^2=C$成立，且C>0，m>=2表示当前s可选动作数。作者证明，采用max计算将会产生以下偏误：$\max_a Q_t(s,a)\geq V_*(s) + \sqrt{\frac{C}{m-1}}$，但是采用Double Q-learning，则绝对误差为0，即满足：

\[\left| \dot { Q } _ { t } ^ { \prime } \left( s , \operatorname { argmax } _ { a } Q _ { t } ( s , a ) \right) - V _ { * } ( s ) \right|=0\]

在这里，作者声明$Q _ { t } ^ { \prime } \left( s , a _ { 1 } \right) = V _ { * } ( s )$。（个人理解是：误差是由于Q _ { t } ( s , a )产生的。结合DQN算法，即作者认为online network是产生误差的主要来源，而target network并没有产生误差。这里有点不能理解，可能需要再去读一下2010年Double Q-learning的原文进行进一步研究）

标签：learning,right,network,Double,Reinforcement,Learning,DQN,left
来源： https://www.cnblogs.com/statruidong/p/10512661.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。