【强化学习】开源 | 基于潜空间搭配的以模型为基础的强化学习方法,适用于具有稀疏奖励和长期目标的任务

2021-08-06 10:38:55 浏览数 (1)

获取完整原文和代码,公众号回复:10051199522

论文地址: http://arxiv.org/pdf/2106.13229v1.pdf

代码: 公众号回复:10051199522

来源: 宾夕法尼亚大学, 谷歌AI, UC伯克利

论文名称:Model-Based Reinforcement Learning via Latent-Space Collocation

原文作者:Oleh Rybkin

内容提要

在只利用原始的高维观察(如图像)的情况下可以进行规划未来的能力,为自主智能体提供了广泛的功能。基于可视化模型的强化学习(RL)方法直接计划未来的行动,在只需要短期推理的任务上显示了令人印象深刻的结果,然而,这些方法在临时扩展的任务上表现不佳。我们认为,通过规划一系列的状态而不是仅仅是行动来解决长期任务更容易,因为行动的效果会随着时间的推移而大大增加,而且更难优化。为了实现这一点,我们借鉴了搭配的思想,这一思想在最优控制文献中,在长视域任务中显示了良好的效果,并利用学习的潜在状态空间模型将其适应于基于图像的设置。由此产生的潜在配置方法(LatCo)优化了潜在状态的轨迹,改进了之前提出的基于视觉模型的任务RL方法,该方法适用于具有稀疏奖励和长期目标的任务。

主要框架及实验结果

声明:文章来自于网络,仅用于学习分享,版权归原作者所有,侵权请加上文微信联系删除。

0 人点赞