[论文翻译]Supermasks in Superposition

我们提出了超叠加网络中的超掩码(SupSup)模型，能够在不发生灾难性遗忘的情况下连续学习数千个任务。该方法使用随机初始化且固定的基础网络，并为每个任务找到一个性能良好的子网络(超掩码)。若测试时提供任务标识，则能以最小内存占用检索出正确的子网络；若未提供，SupSup可通过基于梯度的优化来推断任务，找到能最小化输出熵的已学习超掩码线性叠加。实践中我们发现，即便面对2500个任务，单个梯度步长通常也足以识别正确掩码。我们还展示了两项前瞻性扩展：首先，SupSup模型可在完全不知晓任务标识信息的情况下进行训练，当检测到对新数据不确定时，可为新训练分布分配额外超掩码；最后，通过将不断增长的整套超掩码作为吸引子隐式存储在固定大小的Hopfield网络中，可实现恒定大小的存储池。