[论文翻译]编辑语言模型中的事实性知识

预训练过程中获取并存储于语言模型(LM)参数中的事实性知识，在下游任务(如问答或文本推理)中具有实用价值。然而部分知识可能被错误归纳或随时间过时。我们提出KNOWLEDGE EDITOR方法，无需昂贵重训练或微调即可修正此类"错误"或意外预测。该方法不仅计算高效，还无需修改LM预训练流程(例如采用元学习)。我们通过约束优化训练超网络来修改特定事实而不影响其他知识，训练后的超网络在测试时用于预测权重更新。实验证明KNOWLEDGE EDITOR在两种经典架构和知识密集型任务中表现优异：i)用于事实核查的微调BERT模型，ii)用于问答的序列到序列BART模型。该方法能确保查询表述变化时，其释义的预测结果保持同步改变。研究表明训练阶段利用(如自动生成的)释义可进一步强化该特性。值得注意的是，超网络可作为"探针"揭示操纵事实知识需修改的组件，分析表明更新往往集中于少量参数子集。[20]