[论文翻译]预测编码沿任意计算图近似反向传播
PREDICTIVE CODING APPROXIMATES BACKPROP ALONG ARBITRARY COMPUTATION GRAPHS
预测编码沿任意计算图近似反向传播
Beren Millidge
Beren Millidge
Alexander Tschantz
Alexander Tschantz
School of Informatics University of Edinburgh beren@millidge.name
爱丁堡大学信息学院 beren@millidge.name
...
误差反向传播（backprop）是一种通过端到端微分训练机器学习架构的强大算法。近期研究表明，多层感知机（MLPs）中的反向传播可通过预测编码（predictive coding）进行近似——这是一种仅依赖局部更新与赫布学习的生物可解释性皮层计算过程理论。然而反向传播的核心优势并不在于其在MLPs中的实现，而在于自动微分（automatic differentiation）这一概念，它能优化任何表示为计算图的可微分程序。本文证明：预测编码仅使用局部学习规则即可渐近收敛（实践中能快速收敛）至任意计算图上的精确反向传播梯度。基于此发现，我们提出一种将核心机器学习架构转换为预测编码等效模型的直接策略，构建了预测编码版CNN、RNN以及具有非层级分支图结构和乘法交互的复杂LSTM模型。在挑战性机器学习基准测试中，我们的模型表现与反向传播相当，且仅使用局部（及主要基于赫布）的可塑性机制。该方法揭示了标准机器学习算法在神经环路中直接实现的潜在可能性，也可能推动完全分布式神经形态架构的发展。
