100天深度学习--PartA:Week1-day1 Lenet

AI基础 经典网络  收藏
0 / 898

LeNet

01_副本.png

简介

LeNet-5(http://yann.lecun.com/exdb/lenet/a35.tml), 一个手写体数字识别模型,是一个广为人知的商用的卷积神经网络。当年美国大多数银行用它来识别支票上面的手写数字。

lenet

基本信息

论文:基于梯度的学习在文档识别中的应用

paper :LeCun, Yann; Léon Bottou; Yoshua Bengio; Patrick Haffner (1998). "Gradient-based learning applied to document recognition"

http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf

作者:Yann LeCun,LéonBottou,Yoshua Bengio和Patrick Haffner

发表于:IEEE会议论文集(1998)

补充:全文非常长,小伙伴给出了部分翻译,供大家学习。其中LeNet5详细描述在第二章B节。

创新点

它是深度学习最简单的体系结构之一。 它具有2个卷积层和3个完全连接层。因此LeNet被称为LeNet-5。平均池化层现在称为降采样层,并且当时它具有可训练的权重(现在很少使用这种设计,往往使用Max-pooling)。 该体系结构具有约60,000个参数。

它的网络结构成为后来深度学习网络的标准的“模板”:堆叠若干激活功能的卷积层和pooling层,最后加上一个或多个完全连接的FC层。

网络结构

Lenet5 原始结构如,包括卷积层,降采样,卷积层,降采样,卷积层(实现全连接),全连接层,高斯连接层(进行分类)

lenet-org.jpg

LeNet-5网络参数配置

网络层 输入尺寸 核尺寸 输出尺寸 可训练参数量
卷积层$C_1$ $32\times32\times1$ $5\times5\times1/1,6$ $28\times28\times6$ $(5\times5\times1+1)\times6$
下采样层$S$ $28\times28\times6$ $2\times2/2$ $14\times14\times6$ $(1+1)\times6$
卷积层$C_2$ $14\times14\times6$ $5\times5\times6/1,16$ $10\times10\times16$ $(5\times5\times6+1)\times16$
下采样层$S$ $10\times10\times16$ $2\times2/2$ $5\times5\times16$ $(1+1)\times16$
全连接层$F_3$ $5\times5\times16$ $5\times5\times16/1,120$ $1\times1\times120$ $(5\times5\times16+1)\times120$
全连接层$F_4$ $1\times1\times120$ $120\times84$ $1\times1\times84$ $(120+1)\times84$
全连接层$F_5$/输出层 $1\times1\times84$ $84\times10$ $1\times1\times10$ $(84+1)\times10$

可显示如图

01---副本_副本.png

$L(p, t, x) = L_{cls}(p, p^) + {\lambda}L_{reg}(t, t^) + {\mu}L_c(x)$

其中降采样层在后期发展中被maxpooling所取代,分类也被softmax所替代,第一个全连接层,可以用卷积层来替代。因此很多实现中会改成3个卷积层,2全连接层来进行实现,如下:

一层卷积层: 5×5的卷积核,6个

一层maxpooling

一层卷积层:5×5的卷积核,16个

一层maxpooling

一层卷积层:5×5的卷积核,120个

一层全连接层:84个隐含节点,激活函数为ReLU(paper中激活函数为sigmoid)

最后通过softmax分类输出(paper之前为一个高斯连接层,由Euclidean Radial Basis Function单元组成)

数据变化为

lenet_data2.png

源码

比较热门的源码 有这些,现在一般pooling直接用maxpooling:

tensorflow 源码 https://github.com/tensorflow/models/tree/master/research/slim/nets/lenet.py

tensorflow的输入 改成了28×28,因此少了一层卷积层,最后使用softmax输出

pytorch 源码 https://github.com/pytorch/examples/blob/master/mnist/main.py

caffe https://github.com/BVLC/caffe/blob/master/examples/mnist/lenet.prototxt

练习:在32*32 的 cifar10 上进行十分类,用pytorch构建网络结构

手写示例:

class LeNet(nn.Module):
    def __init__(self):
        super(LeNet, self).__init__()
        self.conv1 = nn.Conv2d(3, 6, kernel_size=5)
        self.conv2 = nn.Conv2d(6, 16, kernel_size=5)
        self.fc1 = nn.Linear(16*5*5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = func.relu(self.conv1(x))
        x = func.max_pool2d(x, 2)
        x = func.relu(self.conv2(x))
        x = func.max_pool2d(x, 2)
        x = x.view(x.size(0), -1)
        x = func.relu(self.fc1(x))
        x = func.relu(self.fc2(x))
        x = self.fc3(x)
        return x

结果:

BEST ACC. PERFORMANCE: 66.050%

知识点

反向传播算法 / 卷积 / 激活函数 / 神经元结构

需要知道基本概念:

  • A Pits 提出的神经元数学模型 ,也被称为感知机(PLA: Perceptron Learning Algorithm)

图来自 :

感知机——神经网络最基本的模型 - DeepTalk的文章 - 知乎
https://zhuanlan.zhihu.com/p/49191769

  • B 多层神经元组合,就叫多层感知机,MLP,我们也叫多层神经网络,DNN等
  • 反向传播算法:Backpropagation BP算法



可以参看:
如何直观地解释 backpropagation 算法? - Anonymous的回答 - 知乎
https://www.zhihu.com/question/27239198/answer/89853077

其中有一段很好玩:
举个不太恰当的例子,如果把上图中的箭头表示欠钱的关系,即c→e表示e欠c的钱。以a, b为例,直接计算e对它们俩的偏导相当于a, b各自去讨薪。a向c讨薪,c说e欠我钱,你向他要。于是a又跨过c去找e。b先向c讨薪,同样又转向e,b又向d讨薪,再次转向e。可以看到,追款之路,充满艰辛,而且还有重复,即a, b 都从c转向e。

而BP算法就是主动还款。e把所欠之钱还给c,d。c,d收到钱,乐呵地把钱转发给了a,b,皆大欢喜。

  • 卷积
    卷积操作在图像中非常常用,一般大家都使用那套动图来展示计算。


    出处忘了,给一个知乎上的总结吧。

绝妙可视化:什么是深度学习的卷积? - 论智的文章 - 知乎
https://zhuanlan.zhihu.com/p/42090228

激活函数:

深度学习中【激活函数】存在的意义是什么? - ShuYini的文章 - 知乎
https://zhuanlan.zhihu.com/p/80730031

今天刷题:

题目1:

**关于激活函数,选出下列说法中不对的答案

A 激活函数可以引入非线性因素,完成复杂的函数映射。
B 激活函数都是线性的,深度网络也可以完成学习和模拟其他复杂类型的数据,例如图像、音频等。
C 激活函数可以把当前特征空间映射到另一个空间,让数据能够更好的被分类。
D 激活函数不能都是线性的

后期会开放小程序刷题打卡,欢迎来玩