线性回归

回归问题当然是要学参数，但首先回归的形式是啥？

线性回归如何习得参数？

损失函数MSE均方误差：　具体方法：　 梯度下降法：迭代求解最小二乘法：闭式求解

 

 

 

感知机：

感知机是一个二分类模型：

如何求得感知机的参数：

损失函数：所有误分类的样本到超平面的距离最小：

　　　　　　　　　　　　

感知机的对偶形式：

当学习率取1时,α i =n i 就表示第i个实例由于误分类而重复对参数更新的次数。除去学习率这个超参之外, 整个学习目标可以顺势转为学习n i 而不再是w和b.

　　　　　　　　　　　　　　　　

对偶形式：使用时机： 在向量维数(特征数)n过高时,应选择对偶形式算法加速。 在向量个数(样本数)N过多时,应选择原始算法。

 

逻辑回归：

逻辑回归函数

将分类问题看作条件概率

　　　　

损失函数，梯度与参数更新

损失函数：梯度：参数更新：

学习率的影响

 

softmax:

函数式：softmax和argmax:  softmax得到每个分类下的概率，argmax取最大概率的类别argmax和max：argmax是取最大概率的类别，max是最大概率