1， 最邻近算法。

最邻近算法 / K邻近算法 / KNN


找到离「当前点」最近的「K个数据点」，然后根据「少数服从多数」原则，对「当前点」进行分类。


如果K取值太小，可能导致过度拟合。即，如果邻近样本是「噪声」，则会对训练结果造成影响——训练结果在训练集中表现变好，但在测试集中表现变差——近似误差减少，估计误差增大


如果K值取值太大，将导致欠拟合。即，远处「不相似的数据」对训练结果产生影响——近似误差增大，估计误差减小
——关于近似误差和估计误差




因为要计算所有点的距离，如果采用「欧氏距离」，则时间复杂度为$O(N^2)$


根据排列组合公式，从N个点中挑出2个进行组合：$P_N^2=\frac{N!}{(N-2)!}=N\times(N-1)=N^2-N$共要计$N^2-N$次，所以时间复杂度为$O(N^2)$
——关于计算距离





K Dimensional Tree / KD Tree / KD树
Reference

k-d tree算法原理及实现

从K近邻算法、距离度量谈到KD树、SIFT+BBF算法
构建KD树

以$x$轴作为分隔超平面的法向量，数据集的中位点作为根节点。于是根据根节点$x$轴的值，能将集合左右两个子集，即左子树和右子树。
以$y$轴作为分隔超平面的法向量，找到每个子集的中位点，则该中位点，分别作为根节点的左子树节点和右子树节点。这次根据左右子树节点的$y$轴将剩余集合进行划分

中位点，相当于中位数的概念，但是在KD树中，所有节点必须是存在的数据点，因此这里用中位点表示


重复以上步骤：循环的选取坐标轴，作为分割超平面的法向量。找到集合中的中位点，将集合拆分，直到无法继续拆分为止。


详细说明：

对于一个由n维数据构成的数据集，我们首先寻找方差最大的那个维度，设这个维度是$d$，然后找出在维度$d$上所有数据项的中位数$m$，按$m$划分数据集，一分为二，记这两个数据子集为$D_l$,$D_r$。建立树节点，存储这次划分的情况（记录划分的维度$d$以及中位数$m$）；
对$D_l$,$D_r$重复进行以上的划分，并且将新生成的树节点设置为上一次划分的左右孩子；
递归地进行以上两步，直到不能再划分为止（所谓不能划分是说当前节点中包含的数据项的数量小于了我们事先规定的阈值，不失一般性，我在此篇博客中默认这个阈值是2，也就是说所有叶子节点包含的数据项不会多于2条），不能再划分时，将对应的数据保存至最后的节点中，这些最后的节点也就是叶子节点。

——Kd-tree原理与实现


搜索KD树
现有查询点$Q$，目的是在KD树中找到点$Q$的最近邻点


向下搜索：首先从根节点开始查找，根据当前节点对应的维度，判断点$Q$属于根节点的左叶子还是右叶子，并将其加入查询路径。依次往下查找，直到搜索到最后一个节点，此时得到查询路径<根节点$A$,中位点$B$,中位点$C$,最后叶子节点$D$>，此时查询点$Q$与末尾节点$D$处于同一个区域。

虽然是同一个区域，但不一定是距离最短的，最邻近肯定距离查询点更近，应该位于以查询点$Q$为圆心且通过叶子节点的圆域内



向上回溯：为了确定查询点$Q$的最邻近点，需要按照查询路径<根节点$A$,中位点$B$,中位点$C$,最后叶子节点$D$>，计算查询点$Q$与各点的距离，直到回溯到根节点

如果点$Q$距离叶子节点D的距离比较近，离上一个中位点比较远，则可以继续按照查询路径向上回溯，计算下一个中位点
如果点$Q$距离路径上的中位点$C$比较近，则需要计算$QC$的距离和$Q$到中位点$C$所在超平面的距离$S$，如果$QC>S$，则说明在中位点C的另一侧还可能存在更近的点，因此需要重复【步骤1】，前往另一侧进行向下查询（即以两点的距离为半径画圆，看是否与超平面相交）



回溯到根节点后结束搜索，将记录的最邻近点取出

目前有如下图所示的KD树（2维KD树）






同样先进行二叉查找，先从（7,2）查找到（5,4）节点，在进行查找时是由y = 4为分割超平面的，由于查找点为y值为4.5，因此进入右子空间查找到（4,7），形成搜索路径<(7,2)，(5,4)，(4,7)>，但（4,7）与目标查找点的距离为3.202，而（5,4）与查找点之间的距离为3.041，所以（5,4）为查询点的最近点；
以（2，4.5）为圆心，以3.041为半径作圆，如下图所示。可见该圆和y = 4超平面交割，所以需要进入（5,4）左子空间进行查找，也就是将（2,3）节点加入搜索路径中得<(7,2)，(2,3)>；于是接着搜索至（2,3）叶子节点，（2,3）距离（2,4.5）比（5,4）要近，所以最近邻点更新为（2，3），最近距离更新为1.5；
回溯查找至（5,4），直到最后回溯到根结点（7,2）的时候，以（2,4.5）为圆心1.5为半径作圆，并不和x = 7分割超平面交割，如下图所示。至此，搜索路径回溯完，返回最近邻点（2,3），最近距离1.5。

1、介绍

k最邻近算法可以说是一个非常经典而且原理十分容易理解的算法，可以应用于分类和聚合。

优点 ：

         1、简单，易于理解，易于实现，无需估计参数，无需训练；

         2、适合对稀有事件进行分类；

         3、特别适合于多分类问题(multi-modal,对象具有多个类别标签)， kNN比SVM的表现要好；

缺点：

         1、对规模超大的数据集拟合时间较长，对高维数据拟合欠佳，对稀疏数据集束手无策

         2、当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该类样本并不接近目标样本

2、代码实际应用

分类
from sklearn.datasets import make_blobs
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap
import numpy as np

X, y = make_blobs(n_samples=500, centers=5, random_state=8)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, stratify=y)
markers = ('s', 'x', 'o', '^', 'v')
colors = ('red', 'blue', 'lightgreen', 'gray', 'cyan')
cmap = ListedColormap(colors[:len(np.unique(y_train))])

clf = KNeighborsClassifier()
clf.fit(X_train, y_train)

X_min, X_max = X_train[:, 0].min() - 1, X_train[:, 0].max() + 1
y_min, y_max = X_train[:, 1].min() - 1, X_train[:, 1].max() + 1

xx, yy = np.meshgrid(np.arange(X_min, X_max, .02), np.arange(y_min, y_max, .02))
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

plt.pcolormesh(xx, yy, Z, cmap=plt.cm.spring)

plt.scatter(X_train[:, 0], X_train[:, 1], c=y_train, cmap=cmap)
# for idx, cl in enumerate(np.unique(y_train)):
#     plt.scatter(X_train[:, 0], X_train[:, 1], c=y_train, cmap=cmap)
    # plt.scatter(X_train[:, 0], X_train[:, 1], c=y_train, cmap=cmap, edgecolors='y', marker=markers[idx], alpha=0.8, linewidths=1)

print("模型的正确率：{:.2f}".format(clf.score(X_test, y_test)) )
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.title("Classifier:KNN")
plt.show()

回归
from sklearn.datasets import make_regression
from sklearn.neighbors import KNeighborsRegressor

import matplotlib.pyplot as plt
import numpy as np

# 生成随机回归数据
X, y = make_regression(n_features=1, n_informative=1, noise=50, random_state=8)

reg = KNeighborsRegressor(n_neighbors=2)
reg.fit(X, y)
# 随机产生x的预测值，根据训练模型来预测y的值
z = np.linspace(-3, 3, 200).reshape(-1, 1)
plt.scatter(X, y, c='orange', edgecolors='k')

plt.plot(z, reg.predict(z), c='k', linewidth=3)
print("模型评分：{:.2f}".format(reg.score(X, y)))
plt.title('KNN Regressor')
plt.show()

分类实际应用：将酒分类
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
import numpy as np

wine_dataset = load_wine()

print(wine_dataset['data'].shape)
X_train, X_test, y_train, y_test = train_test_split(wine_dataset['data'], wine_dataset['target'], random_state=0)

print(X_train.shape)
print(X_test.shape)
print(y_train.shape)
print(y_test.shape)

clf = KNeighborsClassifier(n_neighbors=7)
clf.fit(X_train, y_train)

print("测试数据集得分: {:.2f}".format(clf.score(X_test, y_test)))

X_new = np.array([[13.2, 2.77, 2.51, 18.5, 96.6, 1.04, 2.55, 0.57, 1.47, 6.2, 1.05, 3.33, 820]])

prediction = clf.predict(X_new)
print("预测新红酒的分类为：{}".format(wine_dataset['target_names'][prediction]))

 

概述
K-最邻近算法是一种分类算法，假设有一个训练集$D$，$D$包含n个训练样例，现有一个测试样例$s$，计算$s$与训练集$D$中每个样例的相似度，找出k个与$s$最相似的样本，这k个样本中哪个类别占比最多则作为测试样例$s$的类别。一般用欧几里得距离衡量相似度，其定义为:

$dist(s,d_i)=\sqrt{\sum_{l=1}^{m}(a_{l}-a_{il})^2}$

其中$d_i$指样本集$D$中第$i$个样本，$a_l$指样例$s$第$l$个属性值，$a_{il}$指样例$d_i$中第$l$个属性值。
例子
以下表人员信息作为样本数据，只用身高属性作为距离计算属性，采用K-最邻近算法对<Pat,女,1.6>进行分类



计算测试样本身高属性到每个训练样本身高属性的欧几里得距离：
按距离递增排序
取前5个样本构成样本集合，依据类别比例确定测试样本类别

下表计算了测试样例，与每个样例的距离



按距离递增排序，取前5个样例组成一个集合



其中4个样例属于”矮“,1个样例属于"中等",所以最终认为测试样例<Pat,女,1.6>为矮个。

鸢尾植物例子
# -*- coding: utf-8 -*-
# 如果你的程序（包括注释）中包含中文，请加上上面这一行，用于指明编码（utf-8）。
# #号开头的行都是注释。

# 如何编辑本程序：
#     用任何文本编辑器均可编辑。

# 如何运行本程序：
#     在终端中，运行：python p405_exercises.py

# 本程序实现一个简单的分类算法（kNN，k-最近邻算法）。
#
# 你有两个数据集（训练集和检验集）：
#   训练集：data/iris.training.arff
#   检验集：data/iris.test.arff
# 这两个文件的格式是一样的。每一行数据代表一个数据对象，包括
# 四个属性（分别是花萼和花瓣的长度和宽度，均为实数）和
# 一个类别（鸢尾花的子类别，字符串）。
# 文件中以%或@开头的行或空行均应忽略。
#
# kNN算法如下：
# （1）对于测试集中的每个数据对象，计算它与训练集中每个对象之间的差异，
# 即它的四个属性与训练集中每个对象的四个属性之间的欧几里得距离：
     # dist(x, y) = math.sqrt((x1-y1)**2 + (x2-y2)**2 + (x3-y3)**2 + (x4-y4)**2)
# 其中x1,...,x4 和 y1,...,y4 分别是两个对象的四个属性值。
# （2）将这些距离按从低到高排序，选择k个距离最短（即最近邻）的训练数据，
# 将这k个训练数据的主要类别作为测试数据的类别（分类结果）。
# （3）将分类结果与真实类别进行比较。统计正确分类的数目和比例。
#
# TODO: 选择 k=1,3,5,7,9，记录正确分类的百分比（保留小数点后两位）：
#   k       准确率
#   1       ？
#   3       ？
#   5       ？
#   7       ？
#   9       ？


import math


def dist(obj1, obj2):
    '''计算并返回两个数据对象之间的距离。
    '''
    # 计算并返回一个实数。
    x1 = float(list(obj1.values())[0][0])
    x2 = float(list(obj1.values())[0][1])
    x3 = float(list(obj1.values())[0][2])
    x4 = float(list(obj1.values())[0][3])
    y1 = float(list(obj2.values())[0][0])
    y2 = float(list(obj2.values())[0][1])
    y3 = float(list(obj2.values())[0][2])
    y4 = float(list(obj2.values())[0][3])
    return  math.sqrt((x1-y1)**2 + (x2-y2)**2 + (x3-y3)**2 + (x4-y4)**2)

def read_data(filename):
    '''从training_filename文件中读取训练数据，
    保存在一个列表中，读取结束后返回该列表。
    '''
    data_list = []
    # 类别：
    with open(filename) as f :
        for line in f:
            line.strip()
            line = line.split("\n")
            # 从文件中读取训练数据并填入training_list。
            if line[0].endswith('Iris-setosa') or line[0].endswith('Iris-versicolor') or line[0].endswith('Iris-virginica'):
                line = line[0].split(',')
                data = {line[4]:[line[0],line[1],line[2],line[3]]} 
                data_list.append(data)
    return data_list

def sort_by_distance(list_data):
    for i in range(len(list_data)):
        for j in range(i+1,len(list_data)):
            if list_data[i][1] > list_data[j][1]:
                temp = list_data[i]
                list_data[i] = list_data[j]
                list_data[j] = temp
    return list_data

def classify(training_list, test_obj, k):
    '''kNN算法。
    training_list: 训练数据集。
    test_obj: 一个测试数据对象。
    k：kNN参数。
    返回：测试对象的类别。
    '''
    result = list()
    for eachTestData in test_obj:
        data_list = list()
        for eachTrainingData in training_list:
            distance = dist(eachTestData,eachTrainingData)
            d = list(eachTrainingData.keys())[0],distance
            # print(d)
            data_list.append(d)
        # print(data_list)
        #对列表按照距离排序
        data_list =  sort_by_distance(data_list)
        # print(data_list)
        c1 = 0 
        c2 = 0
        c3 = 0
        for i in range(k):
            if data_list[i][0] == 'Iris-setosa':
                c1+=1
            elif data_list[i][0] == 'Iris-versicolor':
                c2+=1
            elif data_list[i][0] == 'Iris-virginica':
                c3+=1
        if max(c1,c2,c3) == c1:
            result.append('Iris-setosa')
        elif max(c1,c2,c3) == c2:
            result.append('Iris-versicolor')
        elif max(c1,c2,c3) == c3:
            result.append('Iris-virginica')
    return result

if __name__ == '__main__':
    K = ''
    result_list = list()
    title = "{0}       {1}".format('K','准确率')
    result_list.append(title+'\n')
    filePath1 = input("请输入训练集绝对路径：\n")
    filePath2 = input("请输入测试集绝对路径：\n")
    while(True):
        try:
            training_list = read_data(filePath1)#'D:/python_course/data/iris.training.arff'
            test_list = read_data(filePath2)#'D:/python_course/data/iris.test.arff'
        except FileNotFoundError:
            msg = '对不起输入路径有误，或文件不存在.'
            print(msg)
            break
        else:
            K = input("请输入K值,选择k=1,3,5,7,9,输入其他值退出:\n")
            if(K.isdigit()):
                K = int(K)
            else:
                break
            label = classify(training_list, test_list, K)
            counter = 0
            for i in range(len(label)):
                if label[i] == list(test_list[i].keys())[0]:
                    counter+=1
            rate = round((counter/len(test_list))*100,2)
            result = "{0}       {1}%".format(K,rate)
            print(title)
            print(result)
            result_list.append(result+'\n')
            file_name = 'D:/python_course/data/result.txt'
            with open(file_name, 'a') as f:
                f.seek(0)
                f.truncate()   #清空文
                for each in result_list:
                    f.write(each)             

训练集
% 1. Title: Iris Plants Database
% 
% 2. Sources:
%      (a) Creator: R.A. Fisher
%      (b) Donor: Michael Marshall (MARSHALL%PLU@io.arc.nasa.gov)
%      (c) Date: July, 1988
% 
% 3. Past Usage:
%    - Publications: too many to mention!!!  Here are a few.
%    1. Fisher,R.A. "The use of multiple measurements in taxonomic problems"
%       Annual Eugenics, 7, Part II, 179-188 (1936); also in "Contributions
%       to Mathematical Statistics" (John Wiley, NY, 1950).
%    2. Duda,R.O., & Hart,P.E. (1973) Pattern Classification and Scene Analysis.
%       (Q327.D83) John Wiley & Sons.  ISBN 0-471-22361-1.  See page 218.
%    3. Dasarathy, B.V. (1980) "Nosing Around the Neighborhood: A New System
%       Structure and Classification Rule for Recognition in Partially Exposed
%       Environments".  IEEE Transactions on Pattern Analysis and Machine
%       Intelligence, Vol. PAMI-2, No. 1, 67-71.
%       -- Results:
%          -- very low misclassification rates (0% for the setosa class)
%    4. Gates, G.W. (1972) "The Reduced Nearest Neighbor Rule".  IEEE 
%       Transactions on Information Theory, May 1972, 431-433.
%       -- Results:
%          -- very low misclassification rates again
%    5. See also: 1988 MLC Proceedings, 54-64.  Cheeseman et al's AUTOCLASS II
%       conceptual clustering system finds 3 classes in the data.
% 
% 4. Relevant Information:
%    --- This is perhaps the best known database to be found in the pattern
%        recognition literature.  Fisher's paper is a classic in the field
%        and is referenced frequently to this day.  (See Duda & Hart, for
%        example.)  The data set contains 3 classes of 50 instances each,
%        where each class refers to a type of iris plant.  One class is
%        linearly separable from the other 2; the latter are NOT linearly
%        separable from each other.
%    --- Predicted attribute: class of iris plant.
%    --- This is an exceedingly simple domain.
% 
% 5. Number of Instances: 150 (50 in each of three classes)
% 
% 6. Number of Attributes: 4 numeric, predictive attributes and the class
% 
% 7. Attribute Information:
%    1. sepal length in cm
%    2. sepal width in cm
%    3. petal length in cm
%    4. petal width in cm
%    5. class: 
%       -- Iris Setosa
%       -- Iris Versicolour
%       -- Iris Virginica
% 
% 8. Missing Attribute Values: None
% 
% Summary Statistics:
%  	           Min  Max   Mean    SD   Class Correlation
%    sepal length: 4.3  7.9   5.84  0.83    0.7826   
%     sepal width: 2.0  4.4   3.05  0.43   -0.4194
%    petal length: 1.0  6.9   3.76  1.76    0.9490  (high!)
%     petal width: 0.1  2.5   1.20  0.76    0.9565  (high!)
% 
% 9. Class Distribution: 33.3% for each of 3 classes.

@RELATION iris

@ATTRIBUTE sepallength	REAL
@ATTRIBUTE sepalwidth 	REAL
@ATTRIBUTE petallength 	REAL
@ATTRIBUTE petalwidth	REAL
@ATTRIBUTE class 	{Iris-setosa,Iris-versicolor,Iris-virginica}

@DATA
5.1,3.5,1.4,0.2,Iris-setosa
4.9,3.0,1.4,0.2,Iris-setosa
4.6,3.1,1.5,0.2,Iris-setosa
5.0,3.6,1.4,0.2,Iris-setosa
4.6,3.4,1.4,0.3,Iris-setosa
5.8,4.0,1.2,0.2,Iris-setosa
5.7,4.4,1.5,0.4,Iris-setosa
5.4,3.9,1.3,0.4,Iris-setosa
5.1,3.5,1.4,0.3,Iris-setosa
5.7,3.8,1.7,0.3,Iris-setosa
5.1,3.8,1.5,0.3,Iris-setosa
5.4,3.4,1.7,0.2,Iris-setosa
5.1,3.7,1.5,0.4,Iris-setosa
4.6,3.6,1.0,0.2,Iris-setosa
5.1,3.3,1.7,0.5,Iris-setosa
4.8,3.4,1.9,0.2,Iris-setosa
4.8,3.1,1.6,0.2,Iris-setosa
5.4,3.4,1.5,0.4,Iris-setosa
5.2,4.1,1.5,0.1,Iris-setosa
5.5,4.2,1.4,0.2,Iris-setosa
4.9,3.1,1.5,0.1,Iris-setosa
5.0,3.2,1.2,0.2,Iris-setosa
5.5,3.5,1.3,0.2,Iris-setosa
4.9,3.1,1.5,0.1,Iris-setosa
4.4,3.0,1.3,0.2,Iris-setosa
5.1,3.4,1.5,0.2,Iris-setosa
5.0,3.5,1.3,0.3,Iris-setosa
4.5,2.3,1.3,0.3,Iris-setosa
4.4,3.2,1.3,0.2,Iris-setosa
5.0,3.5,1.6,0.6,Iris-setosa
4.9,2.4,3.3,1.0,Iris-versicolor
6.6,2.9,4.6,1.3,Iris-versicolor
5.2,2.7,3.9,1.4,Iris-versicolor
5.0,2.0,3.5,1.0,Iris-versicolor
5.9,3.0,4.2,1.5,Iris-versicolor
6.0,2.2,4.0,1.0,Iris-versicolor
6.1,2.9,4.7,1.4,Iris-versicolor
5.6,2.9,3.6,1.3,Iris-versicolor
6.7,3.1,4.4,1.4,Iris-versicolor
5.6,3.0,4.5,1.5,Iris-versicolor
6.4,2.9,4.3,1.3,Iris-versicolor
6.6,3.0,4.4,1.4,Iris-versicolor
6.8,2.8,4.8,1.4,Iris-versicolor
6.7,3.0,5.0,1.7,Iris-versicolor
6.0,2.9,4.5,1.5,Iris-versicolor
5.7,2.6,3.5,1.0,Iris-versicolor
5.5,2.4,3.8,1.1,Iris-versicolor
5.5,2.4,3.7,1.0,Iris-versicolor
5.8,2.7,3.9,1.2,Iris-versicolor
6.0,2.7,5.1,1.6,Iris-versicolor
5.4,3.0,4.5,1.5,Iris-versicolor
6.0,3.4,4.5,1.6,Iris-versicolor
6.7,3.1,4.7,1.5,Iris-versicolor
6.3,2.3,4.4,1.3,Iris-versicolor
5.6,3.0,4.1,1.3,Iris-versicolor
5.5,2.5,4.0,1.3,Iris-versicolor
5.5,2.6,4.4,1.2,Iris-versicolor
6.1,3.0,4.6,1.4,Iris-versicolor
5.8,2.6,4.0,1.2,Iris-versicolor
5.0,2.3,3.3,1.0,Iris-versicolor
7.3,2.9,6.3,1.8,Iris-virginica
6.7,2.5,5.8,1.8,Iris-virginica
7.2,3.6,6.1,2.5,Iris-virginica
6.5,3.2,5.1,2.0,Iris-virginica
6.4,2.7,5.3,1.9,Iris-virginica
6.8,3.0,5.5,2.1,Iris-virginica
5.7,2.5,5.0,2.0,Iris-virginica
5.8,2.8,5.1,2.4,Iris-virginica
6.4,3.2,5.3,2.3,Iris-virginica
6.5,3.0,5.5,1.8,Iris-virginica
7.7,3.8,6.7,2.2,Iris-virginica
7.7,2.6,6.9,2.3,Iris-virginica
6.0,2.2,5.0,1.5,Iris-virginica
6.9,3.2,5.7,2.3,Iris-virginica
5.6,2.8,4.9,2.0,Iris-virginica
7.7,2.8,6.7,2.0,Iris-virginica
7.4,2.8,6.1,1.9,Iris-virginica
7.9,3.8,6.4,2.0,Iris-virginica
6.4,2.8,5.6,2.2,Iris-virginica
6.3,2.8,5.1,1.5,Iris-virginica
6.1,2.6,5.6,1.4,Iris-virginica
7.7,3.0,6.1,2.3,Iris-virginica
6.3,3.4,5.6,2.4,Iris-virginica
6.4,3.1,5.5,1.8,Iris-virginica
6.0,3.0,4.8,1.8,Iris-virginica
6.9,3.1,5.4,2.1,Iris-virginica
6.7,3.1,5.6,2.4,Iris-virginica
6.9,3.1,5.1,2.3,Iris-virginica
5.8,2.7,5.1,1.9,Iris-virginica
6.8,3.2,5.9,2.3,Iris-virginica
% END



测试集
@RELATION iris

@ATTRIBUTE sepallength	REAL
@ATTRIBUTE sepalwidth 	REAL
@ATTRIBUTE petallength 	REAL
@ATTRIBUTE petalwidth	REAL
@ATTRIBUTE class 	{Iris-setosa,Iris-versicolor,Iris-virginica}

@DATA
4.7,3.2,1.3,0.2,Iris-setosa
5.4,3.9,1.7,0.4,Iris-setosa
5.0,3.4,1.5,0.2,Iris-setosa
4.4,2.9,1.4,0.2,Iris-setosa
4.9,3.1,1.5,0.1,Iris-setosa
5.4,3.7,1.5,0.2,Iris-setosa
4.8,3.4,1.6,0.2,Iris-setosa
4.8,3.0,1.4,0.1,Iris-setosa
4.3,3.0,1.1,0.1,Iris-setosa
5.0,3.0,1.6,0.2,Iris-setosa
5.0,3.4,1.6,0.4,Iris-setosa
5.2,3.5,1.5,0.2,Iris-setosa
5.2,3.4,1.4,0.2,Iris-setosa
4.7,3.2,1.6,0.2,Iris-setosa
5.1,3.8,1.9,0.4,Iris-setosa
4.8,3.0,1.4,0.3,Iris-setosa
5.1,3.8,1.6,0.2,Iris-setosa
4.6,3.2,1.4,0.2,Iris-setosa
5.3,3.7,1.5,0.2,Iris-setosa
5.0,3.3,1.4,0.2,Iris-setosa
7.0,3.2,4.7,1.4,Iris-versicolor
6.4,3.2,4.5,1.5,Iris-versicolor
6.9,3.1,4.9,1.5,Iris-versicolor
5.5,2.3,4.0,1.3,Iris-versicolor
6.5,2.8,4.6,1.5,Iris-versicolor
5.7,2.8,4.5,1.3,Iris-versicolor
6.3,3.3,4.7,1.6,Iris-versicolor
5.8,2.7,4.1,1.0,Iris-versicolor
6.2,2.2,4.5,1.5,Iris-versicolor
5.6,2.5,3.9,1.1,Iris-versicolor
5.9,3.2,4.8,1.8,Iris-versicolor
6.1,2.8,4.0,1.3,Iris-versicolor
6.3,2.5,4.9,1.5,Iris-versicolor
6.1,2.8,4.7,1.2,Iris-versicolor
5.6,2.7,4.2,1.3,Iris-versicolor
5.7,3.0,4.2,1.2,Iris-versicolor
5.7,2.9,4.2,1.3,Iris-versicolor
6.2,2.9,4.3,1.3,Iris-versicolor
5.1,2.5,3.0,1.1,Iris-versicolor
5.7,2.8,4.1,1.3,Iris-versicolor
6.3,3.3,6.0,2.5,Iris-virginica
5.8,2.7,5.1,1.9,Iris-virginica
7.1,3.0,5.9,2.1,Iris-virginica
6.3,2.9,5.6,1.8,Iris-virginica
6.5,3.0,5.8,2.2,Iris-virginica
7.6,3.0,6.6,2.1,Iris-virginica
4.9,2.5,4.5,1.7,Iris-virginica
6.3,2.7,4.9,1.8,Iris-virginica
6.7,3.3,5.7,2.1,Iris-virginica
7.2,3.2,6.0,1.8,Iris-virginica
6.2,2.8,4.8,1.8,Iris-virginica
6.1,3.0,4.9,1.8,Iris-virginica
6.4,2.8,5.6,2.1,Iris-virginica
7.2,3.0,5.8,1.6,Iris-virginica
6.7,3.3,5.7,2.5,Iris-virginica
6.7,3.0,5.2,2.3,Iris-virginica
6.3,2.5,5.0,1.9,Iris-virginica
6.5,3.0,5.2,2.0,Iris-virginica
6.2,3.4,5.4,2.3,Iris-virginica
5.9,3.0,5.1,1.8,Iris-virginica
% END