[论文翻译]动态感知的无监督技能发现

传统上，基于模型的强化学习 (MBRL) 旨在学习环境的全局动力学模型。一个优秀的模型有望让规划算法生成多样行为并解决不同任务。然而，为复杂动态系统学习精确模型十分困难，且即便获得准确模型，其在训练状态分布之外也可能泛化不佳。本研究将基于模型的学习与无需模型的技能基元学习相结合，使基于模型的规划更易实现。为此，我们试图解答：如何发现结果易于预测的技能？我们提出无监督学习算法——动态感知技能发现 (DADS)，它能同步发现可预测行为并学习其动力学规律。该方法理论上可利用连续技能空间，即使在高维状态空间下也能学习无限多种行为。实验表明，在所学潜空间进行零样本规划显著优于标准MBRL和基于目标的免模型RL，能处理稀疏奖励任务，并大幅改进了现有无监督技能发现的层次化RL方法。项目代码已开源：https://github.com/google-research/dads