神经网络与深度学习习题第二章习题

第二章

损失函数的目的是优化。而分类问题中，标签没有连续的概念。每个标签的距离也没有实际意义，因此预测值和标签的两个向量之间的平方差这个值不能反应分类这个问题的优化程度。 例：假设分类问题的类别是1，2，3，则当一个真实分类为2的样本X而言，模型分类结果为1或3，平方损失函数得到的结果都是一样的。这显然无法反应分类问题的优化程度。

(1) 记R=diag（$r^{(1)}$,$r^{(2)}$,…，$r^{(N)}$），则将经验风险函数写成矩阵形式为： R（w) = $\frac{1}{2}$ ${\sum }_{n=1}^N{r}^{(n)}{(y^{(n)}-w^T{x}^{(n)})}^2$=$\frac{1}{2}$ $(Y-XW{)}^{T}R(Y-XW)$ 求偏导得到：$$\frac{\partial R(w)}{\partial w}=\frac{1}{2}\frac{\partial (Y^{T}RT-2Y^{T}RXW+W^T{X}^{T}RXW)}{\partial w}=-X^T{R}^{T}Y+X^{T}RXW$$ 令偏导为0解得：$$w=(X^{T}RX{)}^{-1}(RX{)}^{T}Y$$ (2) 权重$r^{(n)}$为每个样本分配了权重，相当于对每个样本都设置了不同的学习率，或理解为对每个样本重视程度不一样。

已知定理：设A，B分别为n×m,m×s的矩阵，则$$rank(AB)\le min\{rank(A),rank(B)\}$$ 而$X\in {\mathbb{R}}^{(d+1)\times N}$,$X^T\in {\mathbb{R}}^{N\times (d+1)}$,$rank(X)=rank(X^T)=min((d+1),N),N<d+1$。可知$rank(X)=N$。即$rank(X{X}^T)\le min\{N,N\}=N$

已知$$R(w)=\frac{1}{2}{||y-X^{T}w||}^2+\frac{1}{2}\lambda {||w||}^2$$ $$w^{\ast }=(X{X}^T+\lambda I{)}^{-1}Xy$$ 可得$$\frac{\partial R(w)}{\partial w}=\frac{1}{2}\frac{\partial (||y-X^{T}w||{)}^2+\lambda ||w|{|}^2}{\partial w}=-X(y-X^{T}w)+\lambda w$$ 令$$\frac{\partial R(w)}{\partial w}=0$$ 可得 $$-XY+X{X}^{T}w+\lambda w=0$$ $$(X{X}^T+\lambda I)w=XY$$ 即$$w^{\ast }=(X{X}^T+\lambda I{)}^{-1}Xy$$

已知$$\log p(y|X;w,\theta )=\sum _{n=1}^N\log N(y^{(n)}|w^T{x}^{(n)},{\sigma }^2)$$ 令$$\frac{\partial \log p(y|X;w,\sigma )}{\partial w}=0$$ 即有$$\frac{\partial ({\sum }_{n=1}^N-\frac{(y^{(n)}-w^T{x}^{(n)}{)}^2}{2\beta })}{\partial w}=0$$ $$\frac{\partial \frac{1}{2}||y-X^{T}w|{|}^2}{\partial w}=0$$ 则$$w^{ML}=(X{X}^T{)}^{-1}Xy$$

(1) 由最大似然估计公式可知 $$\frac{\partial {\sum }_{n=1}^N\log N(y^{(n)}|u,{\sigma }^2}{\partial \mu }=0$$ $$\frac{\partial {\sum }_{n=1}^N(y^{(n)}-\mu {)}^2}{\partial \mu }=0$$ $${\mu }^{ML}=\frac{1}{N}\sum _{n=1}^N{y}^{(n)}$$ (2) $$P(\mu |y,X;{\mu }_0,\sigma )=\frac{P(\mu ,y|X;{\mu }_0,\sigma )}{{\sum }_{u}P(u;u_0)P(y|\mu ;\sigma )}\Rightarrow P(y|X,\mu ;\sigma )P(\mu ;{\mu }_0,{\sigma }_0)$$ 得到最大后验概率： $${\mu }_{MAP}=argma{x}_{u}P(y|X,\mu ;\sigma )P(\mu ;{\mu }_0,{\sigma }_0)$$

2.7 在习题2.6，正面N→∞时，最大后验估计趋向于最大似然估计。

$$\log (P(\mu |y,X;{\mu }_0,\sigma ))\Rightarrow \log P(y|X,\mu ;\sigma )+\log P(\mu ;{\mu }_0,{\sigma }_0)$$ $$=-\frac{1}{2{\sigma }^2}\sum _{i=1}^N(x-\mu {)}^2-\frac{1}{2{\sigma }_0^2}\sum _{i=1}^N(\mu -{\mu }_0{)}^2$$ 前一项是最大似然，后一项是正则化项，当N趋于无穷时，根据大数定律后一项趋于0，此时最大后验趋近于最大似然。

2.8 验证公式（2.61）

（1）$R(f)=E_{(x,y)～p_r(x,y)[(y-f(x){)}^2]}$ $$R(f)=E_{(x,y)～p_r(x,y)}[(y-E_{y～p_r(y|x)}[y]+E_{y～p_r(y|x)}[y]-f(x){)}^2]$$ $$R(f)=E_{(x,y)～p_r(x,y)}[(y-E_{y～p_r(y|x)}[y]{)}^2+(E_{y～p_r(y|x)}[y]-f(x){)}^2+2(y-E_{y～p_r(y|x)}[y])(E_{y～p_r(y|x)}[y]-f(x))]$$ y、$E_{y～p_r(y|x)}[y]$都是不变的，只有f(x)在被学习,所以要学习到最好的模型就需要令期望风险最小，即$f^{\ast }(x)=E_{y～p_r(y|x)}[y]$

2.9 试分析什么因素会导致模型出现图2.6所示的高偏差和高方差情况

高偏差原因： （1）.数据特征过少； （2）.模型复杂度太低； （3）.正则化系数$\lambda$太大； 高方差原因： （1）.数据样例过少； （2）.模型复杂度过高； （3）.正则化系数$\lambda$太小； （4）.没有使用交叉验证 综上，高偏差高方差的原因可能是数据样例少的同时数据特征也少。

2.10 验证公式（2.66）

$E_D[(f_D(x)-f^{\ast }(x){)}^2]=E_D[(f_D(x)-E_D[f_D(x)]-f^{\ast }(x){)}^2]$ $=E_D[(f_D(x)-E_D[f_D(x)]{)}^2+(E_D[f_D(x)]-f^{\ast }(x){)}^2-2(f_D(x)-E_D[f_D(x)])(E_D[f_D(x)]-f^{\ast }(x))]$ $=(E_D[f_D(x)]-f^{\ast }(x){)}^2+E_D[(f_D(x)-E_D[f_D(x)]{)}^2]-2E_D[(f_D(x)-E_D[f_D(x)])(E_D[f_D(x)]-f^{\ast }(x))]$ 对于-2$E_D[(f_D(x)-E_D[f_D(x)])(E_D[f_D(x)]-f^{\ast }(x))]$这一项，对于一个确认已训练好的模型集合来说，E_D[f_D(x)]和f^*(x)都是确定的，所以原式就为：$$-2C{E}_D[(f_D(x)-E_D[f_D(x)])]=-2C{E}_D[(f_D(x))]+2C{E}_D[(f_D(x))]=0$$ 所以，$$E_D[(f_D(x)-f^{\ast }(x){)}^2]=(E_D[f_D(x)]-f^{\ast }(x){)}^2+E_D[(f_D(x)-E_D[f_D(x)]{)}^2]$$

2.11 分别用一元、二元和三元特征的词带模型表示文本“我打了张三”和“张三打了我”，并分析不同模型的优缺点。

一元特征词袋模型：“我”，“打了”，“张三” $x_1=[1,1,1{]}^T$ $x_2=[1,1,1{]}^T$ 二元特征词袋模型：“我”，“我打了”，“打了张三”，“张三打了”，“打了我”，“张三” $x_1=[1,1,1,0,0,1{]}^T$ $x_2=[1,0,0,1,1,1{]}^T$ 三元特征词袋模型：“我”，“我打了张三”，“张三打了我”，“张三” $x_1=[1,1,0,1{]}^T$ $x_2=[1,0,1,1{]}^T$ 对于n元特征词袋模型来说，n越大，计算压力和参数空间越大，数据越稀疏。然而，当n很小时又无法表示清楚，例如上述一元特征词袋模型，仅仅只是根据当前一个字来判断下一个字可能是什么，无法分辨$x_1和x_2$。

2.12 对于一个三分类问题，数据集的真是标签和模型的预测标签如下：分别计算模型的精确率、召回率、F1值以及它们的宏平均和微平均。

真实标签1 1 2 2 2 3 3 3 3预测标签1 2 2 2 3 3 3 1 2

精确率：$$P_1=\frac{1}{2}$$ $$P_2=\frac{2}{4}=\frac{1}{2}$$ $$P_3=\frac{2}{3}$$ 召回率: $$R_1=\frac{1}{2}$$ $$P_2=\frac{2}{3}$$ $$P_3=\frac{2}{4}=\frac{1}{2}$$ F1值： $$F_1=\frac{2\times 0.5\times 0.5}{1\times 0.5+0.5}=0.5$$ $$F_2=\frac{2\times 0.5\times \frac{2}{3}}{1\times 0.5+\frac{2}{3}}=\frac{10}{7}$$ $$F_3=\frac{2\times \frac{2}{3}\times 0.5}{1\times \frac{2}{3}+0.5}=\frac{11}{7}$$ 宏平均：$$P_{macro}=\frac{1}{3}\sum _{c=1}^3{P}_c=\frac{5}{9}$$ $$R_{macro}=\frac{1}{3}\sum _{c=1}^3{R}_c=\frac{5}{9}$$ $$F{1}_{macro}=\frac{2\times P_{macro}\times R_{macro}}{P_{macro}+R_{macro}}=\frac{5}{9}$$ 微平均：

样本微平均P微平均R111200311411500611711800900