[论文翻译]分治蒙特卡洛树搜索在目标导向规划中的应用

顺序决策的标准规划器（包括蒙特卡洛规划、树搜索、动态规划等）受到隐式顺序规划假设的限制：构建计划的顺序与执行顺序相同。我们针对目标导向的强化学习（RL）问题类别，探讨了该假设的替代方案。我们假设存在一个不完美的目标导向策略，而非环境转移模型。该底层策略可通过包含适当子目标序列的计划进行改进，这些子目标能将其从初始状态引导至目标状态。我们提出了一种规划算法——分治蒙特卡洛树搜索（DC-MCTS），通过提出中间子目标来近似最优计划，这些子目标将初始任务分层划分为更简单的子任务，随后独立递归求解。该算法关键性地利用学习到的子目标提议，基于先验经验为新任务寻找合适的分割树。不同的子目标提议学习策略会产生严格泛化顺序规划的不同规划策略。我们证明，这种对规划顺序的算法灵活性在网格世界导航任务及具有挑战性的连续控制环境中均能提升结果。