简介
2014年 ICLR 的paper，Network In Network(NIN)，他对传统的CNN 网络进行了改进，大大减少参数数量，进一步提高了 CIFAR-10、CIFAR-100 等数据集上的准确率。对后来的模型设计起到了重要的作用。
基本信息
论文 Network In Network
paper ：http://arxiv.org/abs/1312.4400
作者 Lin M, Chen Q, Yan S.
发表于 LCLR 2014
中文翻译 http://www.aiqianji.com/blog/article/15
创新点
能不能对卷积 进行改进，使得弄够拟合更复杂的函数？
1 Mlpconv Layer：Conv+MLP
提出在每个局部感受野中进行更加复杂的运算：MLP卷积层。 也就是叠加"micro network"网络，提高非线性表达。简单来说，就是叠加1X1的卷积层。
如何减少参数量？针对全连接层下手。
2 Global Average Pooling
传统的CNN最后一层都是全连接层，参数非常多，容易引起过拟合。作者提出采用了：全局均值池化，替代全连接层。
网络结构
| 网络层 | 输入尺寸 | 核尺寸 | 输出尺寸 | 可训练参数量 |
|---|---|---|---|---|
| 卷积层$C_1$ $^*$ | $224\times224\times3$ | $11\times11\times3/4,96$ | $55\times55\times96$ | $(11\times11\times3+1)\times96\times2$ |
| CCCP1 | $55\times55\times96$ | $1\times1\times96$ | $55\times55\times96$ | |
| CCCP2 | $55\times55\times96$ | $1\times1\times96$ | $55\times55\times96$ | |
| 下采样层$S$$^*$ | $55\times55\times96$ | $3\times3/2$ | $27\times27\times96$ | 0 |
| 卷积层$C_2$ | $27\times27\times96$ | $5\times5\times96/1,256$ | $27\times27\times256$ | $(5\times5\times96+1)\times256\times2$ |
| CCCP3 | $27\times27\times256$ | $1\times1\times256$ | $27\times27\times256$ | |
| CCCP4 | $27\times27\times256$ | $1\times1\times256$ | $27\times27\times256$ | |
| 下采样层$S$ | $27\times27\times256$ | $3\times3/2$ | $13\times13\times256$ | 0 |
| 卷积层$C_3$ $^*$ | $13\times13\times256$ | $3\times3\times256/1,384$ | $13\times13\times384$ | $(3\times3\times256+1)\times384\times2$ |
| CCCP5 | $13\times13\times384$ | $1\times1\times384$ | $13\times13\times384$ | |
| CCCP6 | $13\times13\times384$ | $1\times1\times384$ | $13\times13\times384$ | |
| 下采样层$S$ | $13\times13\times384$ | $3\times3/2$ | $6\times6\times384$ | 0 |
| 卷积层$C_4$ $^*$ | $6\times6\times384$ | $3\times3\times384/1,1024$ | $6\times6\times1024$ | $(3\times3\times384+1)\times1024\times2$ |
| CCCP7 | $6\times6\times1024$ | $1\times1\times1024$ | $6\times6\times1024$ | |
| CCCP8 | $6\times6\times1024$ | $1\times1\times1000$ | $6\times6\times1000$ |
NIN也可以方便的用在其他网络结构中：
