Turbo Harness:实例自适应Harness优化
自动化对有效harness的搜索是使智能体实现递归式自我改进的重要步骤。现有harness优化通常产生单一全局harness,并在所有任务实例中统一应用。然而,平均表现良好的harness未必对每个实例均为最优。我们引入Turbo Harness框架,通过复用初始优化过程生成的信息,将全局优化harness适配至各个实例。具体而言,Turbo Harness复用已完成的全局harness优化运行中产生的产出物,并将其总结为结构化playbook。我们训练了harness编辑器,利用该优化经验针对全局harness生成实例特定补丁。推理阶段,编辑器利用实例与playbook构建定制化harness,执行模型便在该harness中运行。数值实验表明,Turbo Harness在涵盖交互式智能体任务、软件工程以及长周期终端任务的七个基准测试上,始终优于现有harness优化基线。
赞
评论
请
登录后发表观点

