100天深度学习--PartA：Week2-day11 Inception Resnet

AI基础  收藏
0 / 657

11.png

Inception Resnet

简介

Inception-ResNet网络是在Inception模块中引入ResNet的残差结构，它在ImageNet比赛中的CLS分类测试集上，达到了Top-5 错误率 3.08%的成绩。
它共有两个版本，其中Inception-ResNet-v1对标Inception-v3，而Inception-ResNet-v2对标Inception-v4，两者计算复杂度类似。

准确率和模型对比如下图：
inceptionresnet_result.png

基本信息

paper：“Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning”
pdf：http://arxiv.org/abs/1602.07261
翻译：https://aiqianji.com/blog/article/32

创新点

  1. 把Inception模块转成Inception 残差模块
  2. 增加了更多的Inception模块
  3. 在Stem模块后，加入了一种新型的Inception模块

网络结构

Inception ResNet V2 抽象结构如图（来自googleblog）

inception_resnet_v2.png

Inception ResNet V2 原始结构如图 大图来源:

Inception_ResNet_v2_raw.jpg

对比Inception V4 ，V4结构如下：

Inception_v4.jpg

用不同节点表示如图(按照tensorflow代码重画)

12.png
13.png
14.png

源码：

tensorflow 源码 : https://github.com/tensorflow/models/blob/master/research/slim/nets/inception_resnet_v2.py

缩放Residuals
当卷积核个数超过1000时，训练将会变得不稳定，这时候缩小Residuals有助于稳定训练，缩小因子介于0.1到0.3。

作者提出了“two phase”训练。首先“warm up”，使用较小的学习率。接着再使用较大的学习率。

训练方法
使用Momentum + SGM，momentum=0.9。使用RMSProp，decay为0.9，ϵ=1.0。

学习率为0.045，每2个epoch缩小为原理的0.94。