损失函数

梯度下降

随机初始化起始位w0在w0处对损失函数求导（偏导）w1=w0-学习率*w0处的倒数一直重复计算，直到导数为0，或者达到最大迭代次数。

---

Generalization

泛化 (generalization) 是指神经网络对未在训练 (学习) 过程中遇到的数据可以得到合理的输出。使真实数据的误差更小。一个更复杂的模型可以使训练集上的误差更小，但是不一定能使测试集上的误差也更小（过泛化）

损失函数+很小的wi，可以使预测的函数曲线更加平滑。多平滑？𝜆的选择。𝜆越大，越平滑，在训练集上的误差越小。不能太过平滑。

考虑更多参数的模型

指示函数：取真为1，假为0.