100天深度学习--PartA:Week2-day11 Inception Resnet

AI基础  收藏
0 / 468

11.png

Inception Resnet

简介

Inception-ResNet网络是在Inception模块中引入ResNet的残差结构,它在ImageNet比赛中的CLS分类测试集上,达到了Top-5 错误率 3.08%的成绩。
它共有两个版本,其中Inception-ResNet-v1对标Inception-v3,而Inception-ResNet-v2对标Inception-v4,两者计算复杂度类似。

准确率和模型对比如下图:
inceptionresnet_result.png

基本信息

paper:“Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning”
pdf:http://arxiv.org/abs/1602.07261
翻译:https://aiqianji.com/blog/article/32

创新点

  1. 把Inception模块转成Inception 残差模块
  2. 增加了更多的Inception模块
  3. 在Stem模块后,加入了一种新型的Inception模块

网络结构

Inception ResNet V2 抽象结构如图(来自googleblog)

inception_resnet_v2.png

Inception ResNet V2 原始结构如图 大图来源:

Inception_ResNet_v2_raw.jpg

对比Inception V4 ,V4结构如下:

Inception_v4.jpg

用不同节点表示如图(按照tensorflow代码重画)

12.png
13.png
14.png

源码:

tensorflow 源码 : https://github.com/tensorflow/models/blob/master/research/slim/nets/inception_resnet_v2.py

缩放Residuals
当卷积核个数超过1000时,训练将会变得不稳定,这时候缩小Residuals有助于稳定训练,缩小因子介于0.1到0.3。

作者提出了“two phase”训练。首先“warm up”,使用较小的学习率。接着再使用较大的学习率。

训练方法
使用Momentum + SGM,momentum=0.9。使用RMSProp,decay为0.9,ϵ=1.0。

学习率为0.045,每2个epoch缩小为原理的0.94。