100天深度学习 Week2 day12 DPN

AI基础  收藏
0 / 813

image.png

简介

DPN双路网络本质上就是把ResNet 和 DenseNet 整合到一起的一个网络。
ResNet使用的是相加(element-wise adding),本质上是对之前层级中已提取特征的复用,即会重复利用特征
DenseNet则使用的是拼接(concatenate),从靠前的层级中提取到新的特征,即能探索新的特征。
DPN想,如果如果将两个网络结合在一起呢? 作者从RNN的角度进行了解读,用High Order RNN结构(HORNN)把DenseNet和ResNet联系到了一起,让网络既能共享公共特征,又能通过双路径架构保留灵活性以探索新的特征。

创新点

用RNN解读,设计DPN将ResNet 和 DenseNet 整合到一起

基本介绍

网络结构

DPN 网络如图:
dpn_struct.png

  1. 模型复杂度:The DPN-92 costs about 15% fewer parameters than ResNeXt-101 (32 4d), while the DPN-98 costs about 26% fewer parameters than ResNeXt-101 (64 4d).
  2. 计算复杂度,:DPN-92 consumes about 19% less FLOPs than ResNeXt-101(32 4d), and the DPN-98 consumes about 25% less FLOPs than ResNeXt-101(64 4d).

然后来看 DPN是怎么结合这两种网络的

dpn将数据分成两个部分,一部分做ResNet(ResNext)结构,一部分做DenseNet结构:

dpn_org.jpg
dpn_org1.jpg

用不同节点表示如图:

dpn.png

Caffe里面实现还有一点不同。
dpn_caffe.png

第一次看到这个网络的时候,感受就是肯定很复杂吧,但实际上 ResNet 系列发展而来的网络,都简单而易于理解,而且它在在图像分类、目标检测还是语义分割领域都有极大的优势。适合大家好好掌握

源码

MxNet https://github.com/cypw/DPNs (官方)

caffe:https://github.com/soeaver/caffe-model