深度学习 101

1 前言

ResNet 是一种经典的图像识别领域模型，在 2015 年图像识别领域多个竞赛中排行第一，并且性能上相较第二有大幅提升。在这篇文章里，我们就站在巨人们的肩膀上，搭建一个基于 ResNet 识别花卉图片（Oxford 102 Flowers）的神经网络吧。

2 ResNet 简介

在 ResNet 以前，由于存在梯度消失和梯度爆炸的问题，神经网路层数越深，网络越难以训练，导致深层网络的准确度出现下降。

ResNet 通过引入残差块（Residual block），将 a[l]添加到第二个 ReLU 过程中，直接建立 a[l]与 a[l+2]之间的隔层联系。 表达式 如下：

论文[1]作者推测模型对残差的拟合优化会比对随机权重的拟合更加容易（因为baseline就是恒等映射），所以在极端状况下，残差块的中间层没有激活，即W≈0，b≈0，则有：

残差块示例

所以这种构造方式保证了深层的网络比浅层包含了更多（至少恒等）的图像信息。多个残差块推挤在一起，便形成了一个残差网络。

残差网络和普通深度神经网络对比

3 用 ResNet 构造 分类模型

在下列 demo 中，我们使用 keras 已有的 ResNet50 预训练模型 ，对 Oxford 102 Flowers 数据集中的 10 种花卉图片进行多分类任务模型的构造。在工程上我们只需要修改 ResNet50 顶部的全连接层，对输入的图片数据进行裁剪，旋转，放大等数据增强，训练所有模型参数即可。代码如下：