我们训练了一个大型深度卷积神经网络来将`ImageNet LSVRC-2010`竞赛的120万高分辨率的图像分到1000不同的类别中。在测试数据上，我们得到了`top-1 37.5%, top-5 17.0%`的错误率，这个结果比目前的最好结果好很多。这个神经网络有6000万参数和650000个神经元，包含5个卷积层（某些卷积层后面带有池化层）和3个全连接层，最后是一个1000维的softmax。为了训练的更快，我们使用了非饱和神经元并对卷积操作进行了非常有效的GPU实现。为了减少全连接层的过拟合，我们采用了一个最近开发的名为`dropout`的正则化方法，结果证明是非常有效的。我们也使用这个模型的一个变种参加了`ILSVRC-2012`竞赛，赢得了冠军并且与第二名 `top-5 26.2%`的错误率相比，我们取得了`top-5 15.3%`的错误率。

近些年，大型卷积神经网络模型在 ImageNet数据集上表现出令人印象深刻的效果（如 2012年的Krizhevsky），但是很多人没有弄明白为什么这些卷积网络会取得如此好的效果，以及如何提高分类效果。在这篇文章中，我们对这两个问题均进行了讨论。我们介绍了一种创新性的可视化技术深入观察中间的特征层函数的作用以及分类器的行为。作为一项类似诊断性的技术，可视化操作可以使我们找到比 Krizhevsky（AlexNet模型）更好的模型架构。在ImageNet分类数据集上，我们还进行了一项抽丝剥茧的工作，以发现不同的层对结果的影响。我们看到，当Softmax分类器重新训练后，我们的模型在 ImageNet数据集上可以很好地泛化到其他数据集，瞬间就击败了现如今 Caltech-101以及 Caltech-256 上的最好的方法。

我们提出概念上简单、灵活和通用的对象实例分割框架。我们的方法能够有效检测图像中的对象，同时生成每个实例的高质量分割掩膜。通过添加与现有的边界框识别分支平行的预测对象掩膜分支，这种被称作Mask R-CNN的方法拓展了Faster R-CNN的方法。Mask R-CNN易于训练，且仅稍微增加了Faster R-CNN的分支，运行帧率为5 fps。此外，Mask R-CNN还易于推广到其他任务中，例如，它能够使我们在同一个框架中预测人类的姿势。我们展示了COCO系列挑战的所有三个方向，包括实例分割、边界框对象检测以及人体关键点检测的最佳匹配结果。说实话，Mask R-CNN达成每项任务的效果确实胜过所有现有的单模型参赛作品，包括COCO 2016挑战获胜者的作品。我们希望，该简单有效的方法能够作为可靠的baseline，促进未来实例级识别研究的发展。相关代码即将公开。

我们提出了一种新型的深度网络结构，称为“Network In Network”（NIN），它可以增强模型在感受野（receptive field）内对局部区域（local patches）的辨别能力。传统的卷积层使用线性滤波器来扫描输入，后面接一个非线性激活函数。而我们则构建了一些结构稍复杂的微型神经网络来抽象receptive field内的数据。 我们用多层感知器实例化微型神经网络，这是一种有效的函数逼近器。特征图可以通过微型神经网络在输入上滑动得到，类似于CNN；接下来特征图被传入下一层。深度NIN可以通过堆叠上述结构实现。通过微型网络增强局部模型，我们就可以在分类层中利用所有特征图的全局平均池化层（GAP），这样更容易解释且比传统的全连接层更不容易过拟合。我们证明了NIN在CIFAR-10和CIFAR-100上得到了有史以来最佳的表现以及在SVHN和MNIST数据集上合理的表现。

深度残差网络被证明能够扩展到数千层，并且仍然具有改进的性能。然而，每一个百分之一的提高精度的成本几乎是层数的两倍，所以训练非常深的残差网络有一个特征重用的问题，。针对这些问题，本文对ResNet块的结构进行了详细的实验研究，在此基础上提出了一种新的体系结构，了残差网络的深度，增加了残差网络的宽度。我们称这种网络结构为宽残差网络（WRNs），并指出这种网络结构效果远远优于常用的那些更深的网络（它们相对窄一些）。例如，我们证明，即使是一个简单的16层深宽残差网络，其精度和效率都优于所有以前的深度残差网络，包括千层深度网络。它在CIFAR、SVHN、COCO上取得了最优效果State-of-the-art，并对ImageNet结果进行了重大改进。

用BP算法训练多层神经网络，是梯度学习技术的一个成功的案例。本文给出一个合适的网络架构，通过bp算法可以计算出一个复杂的决策面，来实现对于类似手写体字符这样高维模式的分类。本文回顾了各种不同的手写体识别方法，并基于标准任务比较这些算法。卷积神经网络，专门为处理变化较大的二维图形而设计，显示出超越所有其他技术的能力。