标签：inspired Generalizability Reinforcement 学习 前额 任务 测试 RL 模型

郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！

 arXiv:2007.04578v1 [cs.AI] 9 Jul 2020

Abstract

　　尽管深度RL模型显示出在最少的监督下解决各种任务的巨大潜力，但仍存在一些关键挑战，包括从有限的经验中快速学习，适应环境变化以及从单个任务中概括学习。决策神经科学方面的最新证据表明，人脑具有解决这些问题的天生能力，从而使人们对以神经科学为灵感的解决方案向样本高效，自适应且可归纳的RL算法的发展持乐观态度。我们表明，将有模型和无模型的控制自适应地结合在一起的计算模型（我们称为前额叶RL）能够可靠地编码人类学习的高级策略信息，并且该模型可以将学习到的策略推广到各种各样的任务 。首先，我们在人类参与者执行两阶段Markov决策任务时收集的82个人类受试者的数据上训练了前额叶RL，深度RL和元RL算法，其中我们实验性地操纵了目标，状态-转换的不确定性和状态-空间复杂度。
　　在基于潜在行为特征和参数可恢复性测试的可靠性测试中，我们表明前额叶RL可靠地学习了人类受试者的潜在策略，而所有其他模型均未通过该测试。其次，为了实证测试从最初任务中总结出这些模型所学内容的能力，我们将它们置于环境波动的背景下。具体来说，我们使用10个不同的马尔可夫决策任务进行了大规模仿真，其中潜在的上下文变量随时间变化。我们的信息理论分析表明，前额叶RL表现出最高水平的适应性和回合式编码功效。据我们所知，这是首次正式测试模仿大脑解决一般问题的方式的计算模型可以为机器学习中的关键挑战提供实用解决方案的可能性的首次尝试。

标签：inspired,Generalizability,Reinforcement,学习,前额,任务,测试,RL,模型
来源： https://www.cnblogs.com/lucifer1997/p/13586622.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。