标签：plot 近邻 labels range 100 numpy pl
算法思路：如果一个样本在特征空间中的k个最相似的样本中的大多数属于某一个类别则该样本也属于这个样本。
基本要素：
1 k值得选择。较小的k值可以减少近似误差，但是会增加估计误差，较大的k值可以减少估计误差，但是会增加近似误差。一般采用交叉验验证法来选取最优的k值。
2 距离度量：距离反映了特征空间中两个实例的相似程度。可以采用欧式距离和曼哈顿距离等。
3 分类决策规则：往往采用多数表决。
python 实现
1、导入所需模块
import numpy
from numpy import *
import random
import pylab as pl
import operator
pl.figure(1)
pl.figure(2)- 定义一个函数，计算样本的距离，预测类别
def classify(testdata,traindata,labels,k):
#testdate:待分类数集；traindate:分好类的数集；
#tile(a,(b,c)):将a的内容在行上复制b遍，列上复制c遍
trasize=traindata.shape[0] #得到其维数
tradis1=tile(testdata,(trasize,1))-traindata
tradis2=tradis1**2
tradis3=tradis2.sum(axis=1)
tradis=tradis3**0.5 #计算样本与训练数据的距离
sortdis=tradis.argsort()#排序
classcount={}#建立空字典
for i in range(k):#通过循环寻找k个近邻
votelabel=labels[sortdis[i]]
classcount[votelabel]=classcount.get(votelabel,0)+1
sortedclasscount=sorted(classcount.items(),key=operator.itemgetter(1),reverse=True)
return sortedclasscount[0][0]#返回占最大比例的类别 3、确定两类正态分布的训练样本
x1 = numpy.round(numpy.random.normal(50, 100, 100),2)
y1 = numpy.round(numpy.random.normal(50, 100, 100),2)
x2 = numpy.round(numpy.random.normal(30, 80, 100),2)
y2 = numpy.round(numpy.random.normal(30, 80, 100),2)
a=[]
b=[]
for i in range(100):
a.append([x1[i],y1[i]])
for i in range(100):
b.append([x2[i],y2[i]])
c=a+b
dataset=array(c) #将列表转化为矩阵
labels=[]
for i in range(100):
labels.append('*')
for i in range(100,200):
labels.append('o')4、确定未知样本的位置和K值
x = 85
y = 95
k=25label=classify([x,y],dataset,labels,k)
5、打印图像
pl.figure(1)
pl.plot(x1,y1,'*')
pl.plot(x2,y2,'og')
pl.plot(82,94,'.r')
pl.figure(2)
pl.plot(x1,y1,'*')
pl.plot(x2,y2,'og')
pl.plot(85,95,label)
pl.show() 完整代码
#计算样本的距离，预测类别
def classify(testdata,traindata,labels,k):
#testdate:待分类数集；traindate:分好类的数集；
#tile(a,(b,c)):将a的内容在行上复制b遍，列上复制c遍
trasize=traindata.shape[0] #得到其维数
tradis1=tile(testdata,(trasize,1))-traindata
tradis2=tradis1**2
tradis3=tradis2.sum(axis=1)
tradis=tradis3**0.5 #计算样本与训练数据的距离
sortdis=tradis.argsort()#排序
classcount={}#建立空字典
for i in range(k):#通过循环寻找k个近邻
votelabel=labels[sortdis[i]]
classcount[votelabel]=classcount.get(votelabel,0)+1
sortedclasscount=sorted(classcount.items(),key=operator.itemgetter(1),reverse=True)
return sortedclasscount[0][0]#返回占最大比例的类别
x1 = numpy.round(numpy.random.normal(50, 100, 100),2)
y1 = numpy.round(numpy.random.normal(50, 100, 100),2)
x2 = numpy.round(numpy.random.normal(30, 80, 100),2)
y2 = numpy.round(numpy.random.normal(30, 80, 100),2)
a=[]
b=[]
for i in range(100):
a.append([x1[i],y1[i]])
for i in range(100):
b.append([x2[i],y2[i]])
c=a+b
dataset=array(c) #将列表转化为矩阵
labels=[]
for i in range(100):
labels.append('*')
for i in range(100,200):
labels.append('o')
x = 85
y = 95
k=25
label=classify([x,y],dataset,labels,k)
pl.figure(1)
pl.plot(x1,y1,'*')
pl.plot(x2,y2,'og')
pl.plot(82,94,'.r')
pl.figure(2)
pl.plot(x1,y1,'*')
pl.plot(x2,y2,'og')
pl.plot(85,95,label)
pl.show() 总结：
K近邻算法是分类数据最简单有效的方法，k近邻必须保存全部的数据集必须对数据集中的每个数据都要计算距离值，所以空间复杂度与时间复杂度都比较大。缺陷是无法给出任何数据的基础结构信息，但是这个问题可以在概率分类中得到解决。
标签：plot,近邻,labels,range,100,numpy,pl 来源： https://blog.csdn.net/away_there/article/details/120555788
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。