矩阵分析与应用第五章——梯度分析与最优化
一、梯度1.实值函数对实向量的梯度2. 矩阵微分
二、梯度算法1. 共轭梯度法
一、梯度
1.实值函数对实向量的梯度
梯度算子： 梯度： 矩阵求导计算公式
2. 矩阵微分
Jacobian矩阵 向量函数的梯度 矩阵微分常用法则 两个向量内积和二次型梯度
二、梯度算法
1. 共轭梯度法
问题描述： 考察线性方程组
A
x
=
b
Ax=b
Ax=b 要求A为对称正定矩阵 求解线性方程组即求解目标函数
J
(
x
)
J(x)
J(x)的极小值
m
i
n
J
(
x
)
=
1
2
x
T
A
x
−
b
T
x
minJ(x)=\frac{1}{2}x^TAx-b^Tx
minJ(x)=21xTAx−bTx 因为
J
′
(
x
)
=
A
x
−
b
J'(x)=Ax-b
J′(x)=Ax−b下面几个定义 （1）记目标函数J(x）的共轭梯度为g（x），则
g
(
x
)
=
J
′
(
x
)
=
A
x
−
b
=
r
(
x
)
g(x)=J'(x)=Ax-b =r(x)
g(x)=J′(x)=Ax−b=r(x) 其中
r
(
x
)
r(x)
r(x)为解向量x的残差向量。即 （2）共轭正交： 推导过程： 为了确定a
i，用矩阵p
iHA左乘（5.7.8）两边，得到 因此，将a
i带入（5.7.8）得到 主要思想： 共轭方向定理： 可以证得共轭方法的正确性。 算法： 其中倒数第二行的β
k修改为β
k+1。 有两个博客共轭梯度讲解很好 https://blog.csdn.net/lusongno1/article/details/78550803 https://blog.csdn.net/weixin_37895339/article/details/84640137
