如今，深度神经网络广泛应用于各类任务中，从图像分类、机器翻译到人脸识别和自动驾驶汽车。在许多应用中，单个模型错误可能导致严重的财务损失、声誉损害甚至危及生命的后果。因此，在错误出现时快速修正模型至关重要。本文研究了神经网络编辑问题——如何在特定样本上高效修补模型错误，同时不影响模型在其他样本上的表现。具体而言，我们提出了可编辑训练（Editable Training），这是一种与模型无关的训练技术，旨在促进训练模型的快速编辑。我们通过大规模图像分类和机器翻译任务，实证验证了该方法的有效性。

训练最先进的深度神经网络在计算上非常昂贵。减少训练时间的一种方法是规范化神经元的激活值。最近提出的批归一化(batch normalization)技术利用小批量训练样本中神经元输入的分布来计算均值和方差，然后用这些统计量对每个训练样本的输入进行归一化。这种方法在前馈神经网络中显著缩短了训练时间。然而，批归一化的效果依赖于小批量尺寸，且难以直接应用于循环神经网络。本文通过计算单个训练样本中某层所有神经元输入的均值和方差，将批归一化转换为层归一化(layer normalization)。与批归一化类似，我们也为每个神经元设置自适应的偏置和增益参数，这些参数在归一化之后、非线性变换之前应用。不同于批归一化，层归一化在训练和测试阶段执行完全相同的计算。通过在每个时间步单独计算归一化统计量，该方法可以自然地扩展到循环神经网络。实验表明，层归一化能有效稳定循环网络中的隐藏状态动态变化。实证结果显示，相较于已有技术，层归一化能显著缩短训练时间。

A Neural Corpus Indexer for Document Retrieval 用于文档检索的神经语料库索引器 Abstract 摘要 Current state-of-the-art document retrieval solutions mainly follow an indexretrieve paradigm, where the index is hard to be directly optimized for the final retrieval target. In th... 当前最先进的文档检索解决方案主要遵循索引-检索范式，这种范式难以直接针对最终检索目标进行优化。本文旨在证明，将训练和索引阶段统一的端到端深度神经网络能显著提升传统方法的召回性能。为此，我们提出神经语料库索引器（NCI），这是一种直接为指定查询生成相关文档标识符的序列到序列网络。为优化NCI的召回性能，我们设计了前缀感知权重自适应解码器架构，并采用定制技术，包括查询生成、语义文档标识符和基于一致性的正则化。实证研究在两种常用学术基准上验证了NCI的优越性：在NQ320k数据集的Recall@1指标上相对最佳基线方法提升21.4%，在TriviaQA数据集的R-Precision指标上提升16.8%。

The Hardware Lottery 硬件彩票 Sara Hooker Sara Hooker Google Research, Brain Team shooker@google.com Google Research, Brain Team shocker@google.com Abstract 摘要 Hardware, systems and algorithms research communities have historically had different incentive stru... 硬件、系统和算法研究社区历来具有不同的激励机制，彼此间显性合作的动机也起伏不定。考虑到硬件和软件往往决定着研究理念的成败，这种历史性割裂显得尤为怪异。本文提出"硬件彩票 (hardware lottery) "这一术语，用于描述某些研究理念仅因适配现有软硬件环境（而非其本身优于其他研究方向）而胜出的现象。计算机早期发展史的案例表明，硬件彩票效应可能将本应成功的理念标记为失败，从而延缓研究进程。在领域专用硬件兴起的当下，偏离主流研究路径的成本日益高昂，这些历史教训显得尤为深刻。本文认为，计算技术的进步收益可能将愈发失衡——某些研究方向会进入快车道，而其他方向的进展则会遭遇更多阻碍。