• 原文: ...1. Knn算法介绍:  百度百科:http://baike.baidu.com/view/1485833.htm?from_id=3479559&type=syn&fromtitle=knn&fr=aladdin,其内容如下: 邻近算法,或

    原文:

    http://blog.csdn.net/damotiansheng/article/details/40628417

    1. Knn算法介绍:

            百度百科:http://baike.baidu.com/view/1485833.htm?from_id=3479559&type=syn&fromtitle=knn&fr=aladdin,其内容如下:

    邻近算法,或者说K最近邻(kNN,k-NearestNeighbor)分类算法可以说是整个数据挖掘分类技术中最简单的方法了。所谓K最近邻,就是k个最近的邻居的意思,说的是每个样本都可以用她最接近的k个邻居来代表。
    kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 
    右图中,绿色圆要被决定赋予哪个类,是红色三角形还是蓝色四方形?如果K=3,由于红色三角形所占比例为2/3,绿色圆将被赋予红色三角形那个类,如果K=5,由于蓝色四方形比例为3/5,因此绿色圆被赋予蓝色四方形类。

    KNN算法的决策过程

    K最近邻(k-Nearest Neighbor,KNN)分类算法,是一个理论上比较成熟的方法,也是最简单的机器学习算法之一。该方法的思路是:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。KNN算法中,所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 KNN方法虽然从原理上也依赖于极限定理,但在类别决策时,只与极少量的相邻样本有关。由于KNN方法主要靠周围有限的邻近的样本,而不是靠判别类域的方法来确定所属类别的,因此对于类域的交叉或重叠较多的待分样本集来说,KNN方法较其他方法更为适合。
    KNN算法不仅可以用于分类,还可以用于回归。通过找出一个样本的k个最近邻居,将这些邻居的属性的平均值赋给该样本,就可以得到该样本的属性。更有用的方法是将不同距离的邻居对该样本产生的影响给予不同的权值(weight),如权值与距离成反比。
    #include "ml.h"
    #include "highgui.h"
    
    int main(int argc, char** argv)
    
    {
    	const int K = 10;
    
    	int i, j, k, accuracy;
    
    	float response;
    
    	int train_sample_count = 100;
    
    	CvRNG rng_state = cvRNG(-1);
    
    	CvMat* trainData = cvCreateMat(train_sample_count, 2, CV_32FC1);
    
    	CvMat* trainClasses = cvCreateMat(train_sample_count, 1, CV_32FC1);
    
    	IplImage* img = cvCreateImage(cvSize(500, 500), 8, 3);
    
    	float _sample[2];
    
    	CvMat sample = cvMat(1, 2, CV_32FC1, _sample);
    
    	cvZero(img);
    
    
    	CvMat trainData1, trainData2, trainClasses1, trainClasses2;
    
    
    
    	// form the training samples
    
    	cvGetRows(trainData, &trainData1, 0, train_sample_count / 2);
    
    	cvRandArr(&rng_state, &trainData1, CV_RAND_NORMAL, cvScalar(200, 200), cvScalar(50, 50));
    
    
    	cvGetRows(trainData, &trainData2, train_sample_count / 2, train_sample_count);
    
    	cvRandArr(&rng_state, &trainData2, CV_RAND_NORMAL, cvScalar(300, 300), cvScalar(50, 50));
    
    
    	cvGetRows(trainClasses, &trainClasses1, 0, train_sample_count / 2);
    
    	cvSet(&trainClasses1, cvScalar(1));
    
    
    	cvGetRows(trainClasses, &trainClasses2, train_sample_count / 2, train_sample_count);
    
    	cvSet(&trainClasses2, cvScalar(2));
    
    
    
    	// learn classifier
    	CvKNearest knn(trainData, trainClasses, 0, false, K);
    
    	CvMat* nearests = cvCreateMat(1, K, CV_32FC1);
    
    	for (i = 0; i < img->height; i++)
    
    	{
    
    		for (j = 0; j < img->width; j++)
    
    		{
    
    			sample.data.fl[0] = (float)j;
    
    			sample.data.fl[1] = (float)i;
    
    
    
    			// estimates the response and get the neighbors' labels
    
    			response = knn.find_nearest(&sample, K, 0, 0, nearests, 0);
    
    
    
    			// compute the number of neighbors representing the majority
    
    			for (k = 0, accuracy = 0; k < K; k++)
    
    			{
    
    				if (nearests->data.fl[k] == response)
    
    					accuracy++;
    
    			}
    
    			// highlight the pixel depending on the accuracy (or confidence)
    
    			cvSet2D(img, i, j, response == 1 ?
    
    				(accuracy > 5 ? CV_RGB(180, 0, 0) : CV_RGB(180, 120, 0)) :
    
    				(accuracy > 5 ? CV_RGB(0, 180, 0) : CV_RGB(120, 120, 0)));
    
    		}
    
    	}
    
    
    
    	// display the original training samples
    
    	for (i = 0; i < train_sample_count / 2; i++)
    
    	{
    
    		CvPoint pt;
    
    		pt.x = cvRound(trainData1.data.fl[i * 2]);
    
    		pt.y = cvRound(trainData1.data.fl[i * 2 + 1]);
    
    		cvCircle(img, pt, 2, CV_RGB(255, 0, 0), CV_FILLED);
    
    		pt.x = cvRound(trainData2.data.fl[i * 2]);
    
    		pt.y = cvRound(trainData2.data.fl[i * 2 + 1]);
    
    		cvCircle(img, pt, 2, CV_RGB(0, 255, 0), CV_FILLED);
    
    	}
    
    
    
    	cvNamedWindow("classifier result", 1);
    
    	cvShowImage("classifier result", img);
    
    	cvWaitKey(0);
    
    
    
    	cvReleaseMat(&trainClasses);
    
    	cvReleaseMat(&trainData);
    
    	return 0;
    
    }

    展开全文
  • 学习KNN(一) 图像分类与KNN原理 学习KNN(二)KNN算法手写数字识别的OpenCV实现 学习KNN(三)KNN+HOG实现手写数字识别 简介 KNN算法,即K近邻算法是一种监督学习算法,本质上是要在给定的训练样本中找到与...
  • 所以、想着这次自己动手实现一下简单的KNN分类算法,来实现对图片的分类,尽管网上这类算法多得数不胜数,但是终究不是自己的。 首先,KNN算法流程: 1)计算测试数据与各个训练数据之间的距离; 2)按照距离的...
  • 上一篇博客中,我们已经介绍了图像检索的原理与实现,这篇要介绍图像分类,什么是图像分类呢?图像分类就是输入一张图像,找到它属于哪一类。...5.用KNN实现简单的二维数据分类 二、dense SIFT算法 1....
  • OpenCV-TensorFlow 入门人工智能图像处理 1、KNN数字识别 1.1、load Data 1.2、knn test train distance 5*500=2500距离 1.3、knn k个最近的5张测试图片和500张训练图片做差,找到4张最近的图片 1.4、k个最近的图片 ...
  • 图像识别:利用KNN实现手写数字识别(mnist数据集) 步骤: 1、数据的加载(trainSize和testSize不要设置的太大) 2、k值的设定(不宜过大) 3、KNN的核心:距离的计算 4、k个最近的图片-->根据下标寻找...
  • 图像处理】-035 knn分类算法实现数字识别   在上一篇文章中,我简单的介绍了一下KNN分类算法的原理。其基本原理是计算待分类样本与训练样本之间的距离ddd,选择与之最近的K个样本中最近的样本类别或者最多的类别...
  • 需要识别的数字已经使用图形处理软件,处理成具有相同的色彩和大小:宽高是32像素x32像素的黑白图像。尽管采用本文格式存储图像不能有效地利用内存空间,但是为了方便理解,我们将图片转换为文本格式。 数字的文本...
  • 本篇文章将分享图像分类原理,并介绍基于KNN、朴素贝叶斯算法的图像分类案例。基础性文章,希望对你有所帮助。同时,该部分知识均为杨秀璋查阅资料撰写,转载请署名CSDN+杨秀璋及原地址出处,谢谢!!
  • KNN即K个最近邻,网上有很多关于KNN的文章。我大概总结下核心:假设有A图片,让A与训练样本依次计算相似度(可用欧式距离),挑选出K个与A图片相似度最大的图片,这K个图片中,哪种类型最多那么定义A图片也属于该...
  • KNN实现手写数字识别 2019-08-15 17:12:59
    import operator import datetime import numpy as np from numpy import * ...print('程序处理的图片大小,建议不要超过200*200\n') N = int(input('需要处理的图片的大小(100至200),N=')) #N = 1...
  • 机器学习入门-用KNN实现手写数字图片识别(包含自己图片转化)1.数据集格式2.把自己图片转化为数据集格式(把宽高是32像素x32像素的黑白图像转换为文本格式)3.用数据集实现4.运行结果4.代码下载地址 KNN是最简单的...
  • KNN图像识别 2018-09-21 10:18:12
    KNN: 邻近算法,或者说K最近邻(kNN,k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近的k个邻居来代表。 kNN算法的核心...
  • 图像文本识别的步骤一般为图像预处理,图片切割,特征提取、文本分类和图像文本输出几个步骤,我们也可以按这个步骤来识别图像中的数字。 一、图像预处理 在图像预处理中,验证码识别还要对图像进行去燥,文字还原...
  • 对于要处理手写体数字,需要处理的点主要包括: (1)图片的预处理:将png,jpg等格式的图片转换成文本数据,本博客的思想是,利用图片的rgb16进制编码(255,255,255)为白色,(0,0,0)为黑色,获取图片大小后...
  • 本文首先介绍了图像分类的相关概念,如图像分类的挑战,流程等;之后以KNN算法为例,介绍了基于验证集和交叉验证方法,选取超参数的方法;最后总结用KNN进行分类的情况,并由此引出对于图像分类,仅仅采用像素值是...
  • 首先,简要介绍一下:KNN实现对手写数字0-9的识别,这个实例并不适合去处理手写多位数的识别。而且实例中,已经将训练样本库和测试样本库中的手写数字图片二值化,并将每张图片对应的灰度值存放到了.txt文件,以便于...
  • 手写识别也是当前机器学习的一大热点,数字手写识别是手写识别中的基础,我们用到的是knn算法,今天给大家讲一下我的实现方法; 环境 IDE:Eclipse 语言:Java 项目:数字手写识别 思路 数据采集:我们...
  • 这里写目录标题一、MNIST数据集二、KNN算法三、KNN实现MNIST数据分类四、运行结果五、具体代码 一、MNIST数据集 MNIST数据集是机器学习领域中非常经典的一个数据集,由60000个训练样本和10000个测试样本组成,每个...
  • 图像内容分类(KNN) 2019-05-20 16:10:26
    图像分类,根据各自在图像信息中所反映的不同特征,把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析,把图像或图像中的每个像元或区域划归为若干个类别中的某一种,以代替人的视觉判读。 ...
1 2 3 4 5 ... 20
收藏数 3,089
精华内容 1,235