读ResNet网络文献后的一些要点梳理

1.ResNet网络的诞生是为了要解决深度学习网络的degradation problem。 2.degradation problem与过拟合之间的区别在于过拟合是train error很小，test error很大；而degradation problem则是train error和test error都会增大。 3.ResNet最初的想法是源于一个推理，即假设深层网络由一个浅层网络和多个恒等映射组合而成。若这些恒等映射都是理想的，那么这个深层网络的训练性能（无过拟合）就会等于浅层网络。更何况这些映射不会只局限于恒等映射。因此，深层网络的训练性能应该不会弱于浅层网络。于是他们猜想导致深层网络出现degradation problem的原因可能是深层网络对恒等映射的学习出现了困难。 4.ResNet网络本质上是优化了网络对于恒等映射的学习方式。原因是残差函数在学习恒等映射时，只需要将所有权值参数都趋于零即可，远比非残差函数要去重新学习这些参数的值要轻松得多。 5.shortcuts在维数变换时，有两种选择方式：零填充剩余维度元素以及用1×1卷积核进行投影。其中，前者无多余参数。与后者相比，时间复杂度较低，模型较小。 6.bottlelenck结构相比于non-bottlelenck结构，参数量更少。因此在保证输出维度不受影响的情况下减少了计算量。 （留存待日后回顾）

Reference

1.详解残差网络. 2.ResNet网络结构分析. 3.Resnet 论文读记. 4.大话深度残差网络（DRN）ResNet网络原理. 5.残差网络原理.