本文主要简单介绍一下何凯明的深度学习模型Residual Network，它拿下了2015 ImageNet分类任务的冠军，还赢得了ImageNet的detection，localization以及COCO数据集上的detection和segmentation。

Motivation

        作者首先提出一个问题，深度神经网络是不是越深越好？按照我们一般的经验，只要网络没有梯度消失或者梯度爆炸，而且不过拟合，应该是越深越好。但在实际的实验中，网络加深了，准确度反而下降了，这种情况称为degradation。Cifar10上的训练/测试误差，网络从20层增加到56层，error反而上升了。如下图所示:

        按理说我们有一个shallow net，在不过拟合的情况下再加几层网络这么说也不会比shallow net的结果差，所以degradation说明不是所有的网络都那么容易优化。如果我们加入一个额外的identity mapping层，那么随着网络深度的增加，误差并没有随着增加。也就是说：如果

网络结构

实验结果

Reference

reference

谷歌开放Inception-ResNet-v2：一种新的图像分类卷积神经网络模型
ResNets、HighwayNets、DenseNets：用 TensorFlow 实现超深度神经网络
MXnet初体验之inception-resnet-v2从Model到Predict
Deep Learning回顾#之LeNet、AlexNet、GoogLeNet、VGG、ResNet
常用网络模型结构LeNet,AlexNET,VGG,BN-inception,ResNet网络模型简介和资料整理–caffe学习（8）
Deep Residual Networks
ResNet到底深不深？
CNN经典网络模型摘要–AlexNet、ZFnet、GoogleNet、VGG、ResNet
Deep Residual Networks学习(一)
Deep Residual Learning for Image Recognition(ResNet)论文笔记
ResNet残差网络论文总结
残差resnet网络原理详解
resnet（残差网络）的F（x）究竟长什么样子？