k-近邻算法（kNN）：

工作原理：  存在训练样本集，并且样本集中每个数据都存在标签，输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似（最近邻）的分类标签。  一般来说只选择前k个最相似的数据，k是通常不大于20的整数。

伪代码:

1. 计算已知类别数据集中的点与当前点之间的距离 2. 按照距离递增次序排序 3. 选取与当前点距离最小的k个点 4. 确定前k个点所在类别的出现频率 5. 返回前k个点出现频率最高的类别作为当前点的预测分类

k-邻近算法【python charm实现】

import numpy as np import operator #创造数据集和标签 def createDataSet(): group = np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels = ['A','A','B','B'] return group,labels def classify0(inX, dataSet, labels, k): dataSetSize = dataSet.shape[0] #查看第一维的维数，这里为4 diffMat = np.tile(inX, (dataSetSize,1)) - dataSet #求差，把inX数组重复4次变成[0,0],[0,0],[0,0],[0,0]与dataSet相减 sqDiffMat = diffMat**2 #平方 aqDistance = sqDiffMat.sum(axis=1) #按行相加 distance = aqDistance**0.5 #计算欧式距离 sortedDistIndicies = distance.argsort()#将distance中的元素从小到大排列，提取其对应的index(索引)，然后输出到sortedDistIndicies classCount ={}#字典 for i in range(k): voteIlabel = labels[sortedDistIndicies[i]] #存入当前label以及对应的类别值，d.get(k, v)意思是如果k在d中，则返回d[k]，否则返回v classCount[voteIlabel] = classCount.get(voteIlabel,0) sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True) #对类别字典进行逆排序，级别数目多的往前放，operator.itemgetter(1)代表和元素的第一个域进行比较 return sortedClassCount[0][0]#返回发生频率最高的元素标签 group,labels = createDataSet() print(classify0([0,0],group,labels,3))

label包含每个数据点的标签信息，label包含的元素个数等于Group矩阵行数。

inX用于分类的输入向量 dataSet输入的训练样本集 labels是标签向量 k表示选择最近邻居的数目

tile(A，rep) rep：A沿着各个维度重复的次数（由外至内）

Tile详细用法参考：

https://blog.csdn.net/cszhang570221322/article/details/85107935?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param

将classCount字典分解为元组列表，然后用item方法，按照第二个元素的次序对元组进行排序，此处的排序为逆序。

与书上代码不同处： 1.classCount.iteritems()改为classCount.item() 2.print(classify0([0,0],group,labels,3))输出B 3.diffMat = tile(inX, (dataSetSize,1)) - dataSet改为diffMat = np.tile(inX, (dataSetSize,1)) - dataSet 调用numpy