传统上，基于模型的强化学习 (MBRL) 旨在学习环境的全局动力学模型。一个优秀的模型有望让规划算法生成多样行为并解决不同任务。然而，为复杂动态系统学习精确模型十分困难，且即便获得准确模型，其在训练状态分布之外也可能泛化不佳。本研究将基于模型的学习与无需模型的技能基元学习相结合，使基于模型的规划更易实现。为此，我们试图解答：如何发现结果易于预测的技能？我们提出无监督学习算法——动态感知技能发现 (DADS)，它能同步发现可预测行为并学习其动力学规律。该方法理论上可利用连续技能空间，即使在高维状态空间下也能学习无限多种行为。实验表明，在所学潜空间进行零样本规划显著优于标准MBRL和基于目标的免模型RL，能处理稀疏奖励任务，并大幅改进了现有无监督技能发现的层次化RL方法。项目代码已开源：https://github.com/google-research/dads

利用学习到的环境模型进行轨迹优化是基于模型的强化学习的核心要素之一。该方法常因利用学习模型中的不准确性而受到影响。我们提出通过去噪自编码器对轨迹优化进行正则化，该编码器与环境模型在同一轨迹上训练。研究表明，所提出的正则化方法能提升基于梯度和无梯度优化器的规划效果。实验还证明，在多种常见运动控制任务中，使用正则化轨迹优化可加速初期学习进程，这表明该方法有望成为提升样本效率的有效工具。