前情提要

由逻辑回归算法我们引出了深度学习，请参考https://blog.csdn.net/weixin_42744909/article/details/108954890

深度学习

深度学习的历史

Three Steps for Deep Learning深度学习三步骤

step1：Neural Network

概念

深度学习网络分为输入层，隐藏层和输出层

Deep的概念

Deep = Many hidden layers，deep就是说隐藏层有很多层

神经网络的运算

一个神经元

多个神经元

一个神经元的输出是下一个神经元的输入

输出层

输出层需要特征提取，逻辑回归中提到，多层次分类中提到输出前需要使用SoftMax函数进行强化差异

softmax

实例：

识别手写数字：有颜色的为1，没有颜色的为0

需要考虑的问题：

1.神经网络有多少层，每层有多少个神经元？ 试验+评估error+直觉

2.神经结构可以自动确认吗？ 可以，进化人工神经网络 3.我们可以设计网络结构吗？ 可以，例如以存在的神经网络结构CNN（卷积神经网络）

Step 2: goodness of function

一个输入loss： 多个输入loss： 在函数集中找到一个能使总损失L最小化的函数，进而找到找到减少Loss的网络参数(w,b)

Step 3: pick the best function选择最优的函数

梯度下降法 但是神经元比较大多的时候，偏微分非常难求

Backpropagation

使用Backpropagation反向传播来求解偏微分 后续会详细讲解