• [论文翻译]优雅地老去:基于离散键值适配器的终身模型编辑

    已部署的语言模型会因输入变化、用户需求改变或新出现的世界知识缺口而随时间衰退。当发现此类问题时,我们需要进行针对性修改,同时避免昂贵的重新训练。然而,当前修改预训练模型行为的模型编辑器在多次连续编辑后会快速降低模型性能。我们提出GRACE这一终身模型编辑方法,可对部署模型的流式错误实施定点修复,确保对无关输入的影响最小化。GRACE将新映射写入预训练模型的潜在空间,在不改变模型权重的情况下创建离散的本地编辑码本。这是首个仅利用流式错误即可实现数千次连续编辑的方法。我们在T5、BERT和GPT模型上的实验表明,GRACE在执行和保留编辑方面具有最先进的性能,同时能泛化到未见过的输入。代码已发布于github.com/thartvigsen/grace。
创作中心
开启你的AI千集创作之旅
发布首篇内容,开通创作中心 快来成为AI千集创作者吧~
公告

AI千集是一个二次元智能客服平台
在这里您可以获得本平台自训练的
客服大模型服务
和小伙伴一起玩转AI,做自己的AI机器人
来AI千集,订单转化快人一步
扫一扫,快速获取解决方案与报价
立即咨询

千集助理是连通AI学研和企业的桥梁
登陆小程序
获取AI数字人贴身服务
工作生活效率瞬间提升

千集助理