K-L变换

（一）K-L变换的基本原理

① 对D维随机向量，用一个完备的正交归一向量系来展开：

                                                  

将x表示成的线性组合，其中：

                                                         

② 当只有有限的d项来逼近x，即。则与原向量的均方误差表示为：

                                  

若记，则e可以写成下式：

                                                             

③ 要最小化这一均方误差，就是优化下列问题：

                                                     

得到无约束的目标函数为:

                                                 

④对各个向量求偏导，令其为0，即：

                                         

⑤ 因此均方误差记作：

                               

把矩阵的特征值从大到小进行排列，选择前d个特征值对应的特征向量会使误差最小。

（二） 用于监督模式识别的K-L变换

算法步骤：

① 计算总类内离散度矩阵：

                                             

其中各类的先验概率为，均值为，协方差矩阵为。

②用作为产生矩阵进行K-L变换，求解的特征值和对应的特征向量，得到一组新的特征。

③计算新特征的分类性能指标，并按大小进行排序。即：

                                       

其中，。和分别是第i类的均值和总体均值。

④ 满足③中性能指标的前d个新特征（当有），构成新的特征（）。而相应的构成了特征变换矩阵