[论文翻译]神经网络知识编辑研究综述
深度神经网络在学术界和工业界正变得日益普遍,在众多领域及相关任务中达到甚至超越人类表现。然而,与人类相似,即便是最大规模的人工神经网络也会犯错,且随着时间推移,曾经正确的预测可能失效。通过添加纠错样本或更新数据来扩充数据集已成为实际应用中的常见解决方案。但众所周知的灾难性遗忘现象,对精确调整神经网络参数中隐式记忆的知识提出了挑战,通常需要完整重新训练模型才能实现预期行为。这种做法成本高昂、可靠性低,且与当前大规模自监督预训练的趋势不相容,因此亟需寻找更高效的方法来使神经网络模型适应动态变化的数据。
为应对这一需求,知识编辑 (knowledge editing) 正成为一个新兴研究领域,其目标是在不影响模型已学习任务表现的前提下,实现对预训练模型的可靠、数据高效且快速的修改。本综述对这一人工智能研究新领域进行了简要梳理:首先阐述神经网络编辑问题,通过统一框架进行形式化定义,并将其与持续学习等更受争议的研究分支区分;随后系统回顾当前最相关的知识编辑方法与数据集,将现有工作归纳为四大类——正则化技术、元学习、直接模型编辑和架构策略;最后探讨该领域与其他研究的交叉点及未来潜在方向。