resnet的好处 ResNet引入了残差单元，很好的解决了这个问题。 引入残差单元，简化学习目标和难度，加快训练速度，模型加深时，不会产生退化问题 引入残差单元，能够有效解决训练过程中梯度消失和梯度爆炸问题
ResNet_v2与v1的最大区别就是v2的BN和ReLU是在卷积之前使用的，好处： 反向传播基本符合假设，信息传递无阻碍； BN层作为pre-activation，起到了正则化的作用；
残差网络与普通网络不同的地方就是引入了跳跃连接,这可以使上一个残差块的信息没有阻碍的流入到下一个残差块,提高了信息流通,并且也避免了由与网络过深所引起的消失梯度问题和退化问题。 损失函数 0-1损失函数 该损失函数的意义就是，当预测错误时，损失函数值为1，预测正确时，损失函数值为0。该损失函数不考虑预测值和真实值的误差程度，也就是只要预测错误，预测错误差一点和差很多是一样的。 二分类逻辑回归损失函数
sigmoid函数 饱和激活函数，在方向传播中容易产生梯度消失 计算梯度时计算量大 输出的范围为（0,1） 单调连续 池化层是如何进行反向传播的
