一、正则化、偏差-方差分解
二、L2正则项（weight decay）
在机器学习中，我们经常听到Regularization。
正则化是什么意思呢？从字面上很难理解。其实正则化就是减小方差的策略。
什么是方差？方差、偏差、噪声、误差的关系。下面是西瓜书中的定义。
其实还是云里雾里。通过一个例子来看一下：
深红色的曲线是验证机的loss。橙色的曲线是训练集的loss。通常我们希望loss能达到0。
训练集与0之间的差异由噪声和偏差组成。通常我们不会考虑噪声，所以我们就把训练集与真实值的误差认为是偏差，用来刻画模型的拟合能力。
而方差是训练集与验证集之间的差异。在一个数据集上表现这样，换个数据集表现有那样。它是用来刻画数据扰动所造成的影响。
注：一定要结合李宏毅的笔记来复习。
我的理解就是：bias反映模型拟合能力。比如一次函数，二次函数，三次函数拟合能力肯定不一样。模型越复杂，拟合能力越强。同时，模型越复杂，方差会越大。
欠拟合：bias太大，模型拟合能力不够，需要重新设计一个更复杂的模型。
过拟合：variance太大，模型太复杂，需要设计一个简单的模型或者增加数据集或者增加正则项。
这就是高方差。说白了就是过拟合。
防止过拟合的方法有：1. 增加数据集（数据增强）。 2. dropout 随机失活 3. early stopping 4. 正则化
就是在目标函数后面增加一个正则项。这节课主要来学习L1和L2。
增加了正则项之后，模型输出不仅希望Cost更小，同时也希望权值的绝对值或平方也要小。
如果加上L1、L2，模型会产生什么变化呢？我们经常会看到这两张图。
左边的图L1的。曲线表示Cost的等高线。也就是红色曲线上的Cost相等。黑色矩形L1的等高线，也就是|w1| + |w2|的等高线。
现在要同时考虑Cost和L1。当cost一定的时候，比如是红色线大小。在这条红色线上找我们的解，同时使得cost和L1最小。通常这个解就会发生在坐标轴的交点。这时候w1就是0。也就是我们的参数解有系数项。这就是为什么加上L1就可以产生稀疏解。这是因为加上了L1正则项，我们参数的解往往会发生在坐标轴上，所以某些参数的值就会变成0，从而实现了稀疏解。
右边是L2，黑色的是正则项。L2正则项也会使得参数的值比较小。从而不会让模型过于复杂。
下面学习pytorch中的L2正则项。L2正则项又称为权值衰减。
为什么有称为weight decay呢？
不加正则项的目标函数为：
权值更新公式为：
加了L2正则项之后，目标函数为：
权重更新公式为：
相比与上面的权重更新公式，就多了一个(1-lambda)。
所以加上L2正则项，与不加L2相比，就是Wi发生了一个数值的衰减。所以L2正则项也称为weight decay。
例：pytorch中如何实现L2
# -*- coding:utf-8 -*- """ @file name : L2_regularization.py @brief : weight decay使用实验 """ import torch import torch.nn as nn import matplotlib.pyplot as plt import sys, os hello_pytorch_DIR = os.path.abspath(os.path.dirname(__file__)+os.path.sep+".."+os.path.sep+"..") sys.path.append(hello_pytorch_DIR) from tools.common_tools import set_seed from torch.utils.tensorboard import SummaryWriter set_seed(1) # 设置随机种子 n_hidden = 200 max_iter = 2000 disp_interval = 200 lr_init = 0.01 # ============================ step 1/5 数据 ============================ def gen_data(num_data=10, x_range=(-1, 1)): w = 1.5 train_x = torch.linspace(*x_range, num_data).unsqueeze_(1) #*表示解压可迭代对象。linspace(-1,1,10)表示在[-1,1]创建长度为10的一维张量。unsqueeze_(1)是扩展张量维度为：(10,1) train_y = w*train_x + torch.normal(0, 0.5, size=train_x.size()) #正态分布。 test_x = torch.linspace(*x_range, num_data).unsqueeze_(1) test_y = w*test_x + torch.normal(0, 0.3, size=test_x.size()) return train_x, train_y, test_x, test_y train_x, train_y, test_x, test_y = gen_data(x_range=(-1, 1)) # ============================ step 2/5 模型 ============================ class MLP(nn.Module): def __init__(self, neural_num): super(MLP, self).__init__() self.linears = nn.Sequential( nn.Linear(1, neural_num), #输入节点数是1，输出节点数是neural_num nn.ReLU(inplace=True), nn.Linear(neural_num, neural_num), nn.ReLU(inplace=True), nn.Linear(neural_num, neural_num), nn.ReLU(inplace=True), nn.Linear(neural_num, 1), ) def forward(self, x): return self.linears(x) #初始化两个网络，一个不做L2,一个做L2,用来对比 net_normal = MLP(neural_num=n_hidden) net_weight_decay = MLP(neural_num=n_hidden) # ============================ step 3/5 优化器 ============================ optim_normal = torch.optim.SGD(net_normal.parameters(), lr=lr_init, momentum=0.9) #构建没有L2正则化的优化器 optim_wdecay = torch.optim.SGD(net_weight_decay.parameters(), lr=lr_init, momentum=0.9, weight_decay=1e-2) #L2正则化是在优化器中实现的。 # ============================ step 4/5 损失函数 ============================ loss_func = torch.nn.MSELoss() # ============================ step 5/5 迭代训练 ============================ writer = SummaryWriter(comment='_test_tensorboard', filename_suffix="12345678") for epoch in range(max_iter): #forward pred_normal, pred_wdecay = net_normal(train_x), net_weight_decay(train_x) #计算loss loss_normal, loss_wdecay = loss_func(pred_normal, train_y), loss_func(pred_wdecay, train_y) #优化器对要学习的参数的梯度清零 optim_normal.zero_grad() optim_wdecay.zero_grad() #反向传播，求取梯度 loss_normal.backward() loss_wdecay.backward() #更新 optim_normal.step() optim_wdecay.step() if (epoch+1) % disp_interval == 0: # 可视化 for name, layer in net_normal.named_parameters(): writer.add_histogram(name + '_grad_normal', layer.grad, epoch) writer.add_histogram(name + '_data_normal', layer, epoch) for name, layer in net_weight_decay.named_parameters(): writer.add_histogram(name + '_grad_weight_decay', layer.grad, epoch) writer.add_histogram(name + '_data_weight_decay', layer, epoch) #把测试集输入到网络中，得到测试集上的表现。 test_pred_normal, test_pred_wdecay = net_normal(test_x), net_weight_decay(test_x) # 绘图 plt.scatter(train_x.data.numpy(), train_y.data.numpy(), c='blue', s=50, alpha=0.3, label='train') plt.scatter(test_x.data.numpy(), test_y.data.numpy(), c='red', s=50, alpha=0.3, label='test') plt.plot(test_x.data.numpy(), test_pred_normal.data.numpy(), 'r-', lw=3, label='no weight decay') plt.plot(test_x.data.numpy(), test_pred_wdecay.data.numpy(), 'b--', lw=3, label='weight decay') plt.text(-0.25, -1.5, 'no weight decay loss={:.6f}'.format(loss_normal.item()), fontdict={'size': 15, 'color': 'red'}) plt.text(-0.25, -2, 'weight decay loss={:.6f}'.format(loss_wdecay.item()), fontdict={'size': 15, 'color': 'red'}) plt.ylim((-2.5, 2.5)) plt.legend(loc='upper left') plt.title("Epoch: {}".format(epoch+1)) plt.show() plt.close()结果：
可以看到不带weight decay的loss已经变成0了，但是红色曲线过拟合了。带weight decay的虽然loss不是0，但是蓝色曲线更符合我们的要求。
通过TensorBoard，可以看到不带L2的时候：
、
2000个epoch，从开始到结束整个过程中权值都没有什么变化。
而加入了L2之后，
权值逐渐缩小。以至于模型不那么复杂。
