距离判别法首先根据已知分类的数据,分别计算出各类的重心。再根据新个体到每类的距离(即新个体与各类重心的距离,可采用欧氏距离或者马氏距离等等),根据最短的距离确定分类情况。
线性判别分析(Linear Discriminant Analysis, 简称LDA)又称为Fisher判别分析(费舍尔判别分析 ,简称 FDA)
Fisher判别分析思想:
给定训练样本集,设法将样本投影到一条直线上,使得同类样本的投影点尽可能接近,不同类样本的投影点尽可能远离。在对新样本进行分类时,将其投影到同样的这条直线上,再根据新样本投影点的位置来确定它的类别。 如下图所示,给出了一个二维示意图。 Remark1:为什么画过原点? 所关心的仅仅是这些点到一条直线投下来的影子点之间的距离,所以直线可以沿着投影方向随意平移,这并不影响它的影子点之间的距离。因此直线经过垂直方向平移后,肯定可以过原点。 Remark2:怎么理解WTx?使得同类样本的投影点之间的距离尽可能接近。按照方差分析里的思想,应该把各组内的偏差相加,再把各组的偏差总和相加。
使得不同类样例的投影点之间的距离尽可能远离。按照方差分析里的思想,应该把各组和总体均值的偏差加权相加(这个体现在Fisher的多分类推广里面)
LDA相关知识
LDA和PCA的区别
Fisher判别分析,利用投影技术进行降维,降维后计算组内偏差(此处可类比到方差分析中的随机误差),同时计算组间偏差(此处可类比方差分析中的各个因素水平之间的组间偏差),利用凸优化方法找到使得组内偏差最小化、组间偏差最大化的直线或者超平面来分割不同的类别。