[论文翻译]用自然语言补丁修复模型缺陷

当前解决NLP(自然语言处理)模型中系统性问题的方案(例如正则表达式补丁、基于更多数据的微调)要么脆弱易失效，要么需要高强度人工且容易走捷径。相比之下，人类通常通过自然语言互相提供修正建议。受此启发，我们探索自然语言补丁——这种声明式语句允许开发者在合适的抽象层级提供纠正反馈，既能覆盖模型判断( "若评论给出2星评级，则情感为负面" )，也能补充模型可能缺失的信息( "若某物被描述为'the bomb'，则表示它很棒" )。我们将判断补丁是否适用的任务与整合补丁信息的任务分开建模，并证明仅需少量合成数据就能教会模型有效使用真实数据上的真实补丁——在情感分析数据集的不同子集上，1到7个补丁可使准确率提升\$\sim1{-}4\$个百分点；在关系抽取数据集上F1值提升7个百分点。最后我们发现，可能需要多达100个标注样本进行微调，才能匹配少量语言补丁带来的性能提升。