AlexNet

通过上面的实际训练可以看到，虽然LeNet在手写数字识别数据集上取得了很好的结果，但在更大的数据集上表现却并不好。自从1998年LeNet问世以来，接下来十几年的时间里，神经网络并没有在计算机视觉领域取得很好的结果，反而一度被其它算法所超越，原因主要有两方面，一是神经网络的计算比较复杂，对当时计算机的算力来说，训练神经网络是件非常耗时的事情；另一方面，当时还没有专门针对神经网络做算法和训练技巧的优化，神经网络的收敛性是件非常困难的事情。

随着技术的进步和发展，计算机的算力越来越强大，尤其是在GPU并行计算能力的推动下，复杂神经网络的计算也变得更加容易实施。另一方面，互联网上涌现出越来越多的数据，极大的丰富了数据库。同时也有越来越多的研究人员开始专门针对神经网络做算法和模型的优化，Alex Krizhevsky等人提出的AlexNet以很大优势获得了2012年ImageNet比赛的冠军。这一成果极大的激发了业界对神经网络的兴趣，开创了使用深度神经网络解决图像问题的途径，随后也在这一领域涌现出越来越多的优秀工作。

AlexNet与LeNet相比，具有更深的网络结构，包含5层卷积和3层全连接，同时使用了如下三种方法改进模型的训练过程：

  • 数据增多：深度学习中常用的一种处理方式，通过对训练随机加一些变化，比如平移、缩放、裁剪、旋转、翻转或者增减亮度等，产生一系列跟原始图片相似但又不完全相同的样本，从而扩大训练数据集。通过这种方式，可以随机改变训练样本，避免模型过度依赖于某些属性，能从一定程度上抑制过拟合。

  • 使用Dropout抑制过拟合

  • 使用ReLU激活函数少梯度消失现象

说明：

下一节详细介绍数据增多的具体实现方式。

AlexNet的具体结构如 图2 所示：

AlexNet - 图1

图2：AlexNet模型网络结构示意图

AlexNet在眼疾筛查数据集iChallenge-PM上具体实现的代码如下所示：

  1. # -*- coding:utf-8 -*-
  3. # 导入需要的包
  4. import paddle
  5. import paddle.fluid as fluid
  6. import numpy as np
  7. from paddle.fluid.dygraph.nn import Conv2D, Pool2D, Linear
  10. # 定义 AlexNet 网络结构
  11. class AlexNet(fluid.dygraph.Layer):
  12.     def __init__(self, name_scope, num_classes=1):
  13.         super(AlexNet, self).__init__(name_scope)
  14.         name_scope = self.full_name()
  15.         # AlexNet与LeNet一样也会同时使用卷积和池化层提取图像特征
  16.         # 与LeNet不同的是激活函数换成了‘relu’
  17.         self.conv1 = Conv2D(num_channels=3, num_filters=96, filter_size=11, stride=4, padding=5, act='relu')
  18.         self.pool1 = Pool2D(pool_size=2, pool_stride=2, pool_type='max')
  19.         self.conv2 = Conv2D(num_channels=96, num_filters=256, filter_size=5, stride=1, padding=2, act='relu')
  20.         self.pool2 = Pool2D(pool_size=2, pool_stride=2, pool_type='max')
  21.         self.conv3 = Conv2D(num_channels=256, num_filters=384, filter_size=3, stride=1, padding=1, act='relu')
  22.         self.conv4 = Conv2D(num_channels=384, num_filters=384, filter_size=3, stride=1, padding=1, act='relu')
  23.         self.conv5 = Conv2D(num_channels=384, num_filters=256, filter_size=3, stride=1, padding=1, act='relu')
  24.         self.pool5 = Pool2D(pool_size=2, pool_stride=2, pool_type='max')
  26.         self.fc1 = Linear(input_dim=12544, output_dim=4096, act='relu')
  27.         self.drop_ratio1 = 0.5
  28.         self.fc2 = Linear(input_dim=4096, output_dim=4096, act='relu')
  29.         self.drop_ratio2 = 0.5
  30.         self.fc3 = Linear(input_dim=4096, output_dim=num_classes)
  33.     def forward(self, x):
  34.         x = self.conv1(x)
  35.         x = self.pool1(x)
  36.         x = self.conv2(x)
  37.         x = self.pool2(x)
  38.         x = self.conv3(x)
  39.         x = self.conv4(x)
  40.         x = self.conv5(x)
  41.         x = self.pool5(x)
  42.         x = fluid.layers.reshape(x, [x.shape[0], -1])
  43.         x = self.fc1(x)
  44.         # 在全连接之后使用dropout抑制过拟合
  45.         x= fluid.layers.dropout(x, self.drop_ratio1)
  46.         x = self.fc2(x)
  47.         # 在全连接之后使用dropout抑制过拟合
  48.         x = fluid.layers.dropout(x, self.drop_ratio2)
  49.         x = self.fc3(x)
  50.         return x
  1. with fluid.dygraph.guard():
  2.     model = AlexNet("AlexNet")
  4. train(model)

通过运行结果可以发现，在眼疾筛查数据集iChallenge-PM上使用AlexNet，loss能有效下降，经过5个epoch的训练，在验证集上的准确率可以达到94%左右。