1.     算法流程

1)      通过Matlab产生高斯分布产生两类数据，并标明类别

2)      数据初始化：设置K=某个常数(一般为奇数)

3)      对于每个测试数据，

计算其到两类数据的所有点的距离

对于上述求得的距离，选出K个最小的，

检测这选出的K个值中属于类别1和类别2的个数

If Cnt1>Cnt2

属于类别1；

Else

属于类别2；

2、实验代码：

clear all;

close all;

clc;

%%第一个类数据和标号

mu1=[0 0];  %均值

S1=[0.3 0;0 0.35];  %协方差

data1=mvnrnd(mu1,S1,100);   %产生高斯分布数据

plot(data1(:,1),data1(:,2),'+');

label1=ones(100,1); %产生100行1列的单位矩阵

hold on;

%%第二个类数据和标号

mu2=[1.25 1.25];

S2=[0.3 0;0 0.35];

data2=mvnrnd(mu2,S2,100);

plot(data2(:,1),data2(:,2),'ro');

label2=label1+1; %产生100行1列的全为2的矩阵

data=[data1;data2];%数据合并

label=[label1;label2];

grid on;

K=11;   %两个类，K取奇数才能够区分测试数据属于那个类

%测试数据，KNN算法看这个数属于哪个类

for ii=-3:0.1:3

for jj=-3:0.1:3

test_data=[ii jj];  %测试数据

label=[label1;label2];

%%下面开始KNN算法，显然这里是11NN。

%求测试数据和类中每个数据的距离，欧式距离(或马氏距离)

distance=zeros(200,1); %产生200行1列的零矩阵

for i=1:200

distance(i)=sqrt((test_data(1)-data(i,1)).^2+(test_data(2)-data(i,2)).^2); %(xi-X)2+(yj-Y)2

end

%选择排序法，只找出最小的前K个数据,对数据和标号都进行排序

for i=1:K

ma=distance(i);

for j=i+1:200

if distance(j)

ma=distance(j);

label_ma=label(j);

tmp=j;

end

end

distance(tmp)=distance(i);  %排数据

distance(i)=ma;

label(tmp)=label(i);        %排标号，主要使用标号

label(i)=label_ma;

end

cls1=0; %统计类1中距离测试数据最近的个数

for i=1:K

if label(i)==1

cls1=cls1+1;

end

end

cls2=K-cls1;    %类2中距离测试数据最近的个数

if cls1>cls2

plot(ii,jj);     %属于类1的数据画小黑点

end

end

end

3、结果说明

本算法的测试数据是坐标轴上的点，范围是x[-3,3], y[-3,3];

最终结果一类用黑点表示，一类用空白表示

4、算法结果：

clear;

clc;

K=3;

trainData = [1.0,2.0;1.2,0.1;0.1,1.4;0.3,3.5];

trainClass = [1,1,2,2];

testData = [0.5,2.3];

[N,M]=size(trainData);

%计算训练数据集与测试数据之间的欧氏距离dist

dist=zeros(N,1);

for i=1:N

dist(i,:)=norm(trainData(i,:)-testData);

end

%将dist从小到大进行排序

[Y,I]=sort(dist,1);

%将训练数据对应的类别与训练数据排序结果对应

trainClass=trainClass(I);

%确定前K个点所在类别的出现频率

classNum=length(unique(trainClass));%取集合中的单值元素的个数

labels=zeros(1,classNum);

for i=1:K

j=trainClass(i);

labels(j)=labels(j)+1;

end

%返回前K个点中出现频率最高的类别作为测试数据的预测分类

[~,idx]=max(labels);

fprintf('该测试数据属于类 %d\n',idx);

将其进行改进，代码更加简练，并使用数据进行测试：

KNN.m:

function [ idx ] = KNN( trainData,trainClass,testData,K )

%UNTITLED Summary of this function goes here

% Detailed explanation goes here

[N,M]=size(trainData);

%计算训练数据集与测试数据之间的欧氏距离dist

dist=zeros(N,1);

for i=1:N

dist(i,:)=norm(trainData(i,:)-testData);

end

%将dist从小到大进行排序

[Y,I]=sort(dist,1);

K=min(K,length(Y));

%将训练数据对应的类别与训练数据排序结果对应

labels=trainClass(I);

%{

%确定前K个点所在类别的出现频率

classNum=length(unique(trainClass));%取集合中的单值元素的个数

labels=zeros(1,classNum);

for i=1:K

j=trainClass(i);

labels(j)=labels(j)+1;

end

%返回前K个点中出现频率最高的类别作为测试数据的预测分类

[~,idx]=max(labels);

%}

%确定前K个点所在类别的出现频率

idx=mode(labels(1:K));%mode函数求众数

fprintf('该测试数据属于类 %d ',idx);

end

KnnDataTest.m:

clear;

clc;

X=load('datingTestSet2.txt');

ratio=0.1;%测试数据所占比例

[N,M]=size(X);

K=4;

trainData=X(:,1:3);

trainClass=X(:,4);

num_test=N*ratio;

%归一化处理newData=(oldData-minValue)/(maxValue-minValue);

minValue=min(trainData);

maxValue=max(trainData);

trainData=(trainData-repmat(minValue,N,1))./(repmat(maxValue-minValue,N,1));

error=0;

for i=1:num_test

idx=KNN(trainData(num_test+1:N,:),trainClass(num_test+1:N,:),trainData(i,:),K);

fprintf('该测试数据的真实类为：%d\n',trainClass(i,:));

if idx~=trainClass(i,:);

error=error+1;

end

end

fprintf('准确率为：%f\n',1-error/num_test);

部分结果：