-
2017-12-14 04:53:39
目标:
比较不同分类器的性能,以确定在给定的数据集上哪种分类器效果更好。
一、估计准确度的置信区间
通过将分类任务用二项式试验建模来推导置信区间。给定一个包含N个记录的检验集,令X是被模型正确预测的记录数,p是模型的真正准确率。通过吧预测任务用二项式试验建模,X服从均值为Np、方差为Np(1-p)的二项分布。可以证明经验准确率acc=X/N也是均值为p,方差为p(1-p)/N的二项分布。当N充分大时,通常用正态分布近似。根据正态分布,可以推导出acc的置信区间:
P(−Zα/2≤acc−pp–√(1−p)/N≤Z1−α/2)=1−α P ( − Z α / 2 ≤ a c c − p p ( 1 − p ) / N ≤ Z 1 − α / 2 ) = 1 − α其中 Zα/2 Z α / 2 和 Z1−α/2 Z 1 − α / 2 分别是在置信水平 (1−α) ( 1 − α ) 下由标准正态分布得到的上界和下界。
重新整理不等式,得到p的置信区间如下:
2×N×acc+Z2α/2±Zα/2Z2α/2+4Nacc−4Nacc2−−−−−−−−−−−−−−−−−−−√2(N+Z2α/2) 2 × N × a c c + Z α / 2 2 ± Z α / 2 Z α / 2 2 + 4 N a c c − 4 N a c c 2 2 ( N + Z α / 2 2 )二、比较两个模型的性能
考虑一对模型 M1 M 1 和 M2 M 2 ,他们在两个对立的检验集 D1 D 1 和 D2 D 2 上进行评估,令 n1 n 1 是 D1 D 1 中的记录数, n2 n 2 是 D2 D 2 中的记录数。另外,假设 M1 M 1 在 D1 D 1 上的错误率为 e1 e 1 , M2 M 2 在 D2 D 2 上的错误率为 e2 e 2 。目标是检验 e1 e 1 和 e2 e 2 的观察差是否统计显著 (错误率的观察差 d=e1−e2≠0 d = e 1 − e 2 ≠ 0 )。
d的方差为:
σ^d=e1(1−e1)n1+e2(1−e2)n2 σ ^ d = e 1 ( 1 − e 1 ) n 1 + e 2 ( 1 − e 2 ) n 2在置信水平(1- α α )%下,实际差 dt d t 的置信区间为:
dt=d±zα/2σ^d d t = d ± z α / 2 σ ^ d三、比较两种分类方法的性能
将数据集D划分为k个大小相等的部分,然后使用每种分类方法,在k-1份数据上构建模型,并在剩余的划分上进行检验,该步骤重复k次,每次使用不同的划分进行检验。
观察差的总方差为:
σ^2dcv=∑kj=1(dj−d¯¯¯)2k(k−1) σ ^ d c v 2 = ∑ j = 1 k ( d j − d ¯ ) 2 k ( k − 1 )
用t分布计算得到置信区间为:
dcvt=d^±t(1−α),k−1σ^dcv d t c v = d ^ ± t ( 1 − α ) , k − 1 σ ^ d c v【几个概念】
1.二项式试验
(1)试验由N个独立的试验组成,其中每个试验有两种可能的结果:成功或失败。
(2)每个试验成功的概率p是常数。如果X是N次试验观察到的成功次数,则X取一个特定值v的概率由均值为Np、方差为Np(1-p)的二项分布给出。
【参考文献】
Pang-Ning Tan等,数据挖掘导论,中国工信出版集团
更多相关内容 -
不同的数据挖掘方法分类对比研究.pdf
2021-07-14 14:59:00不同的数据挖掘方法分类对比研究.pdf -
传统情感分类方法与深度学习的情感分类方法对比
2018-11-10 16:57:16标注:本博客是参考论文《传统情感分类方法与机遇深度学习的情感分类方法对比分析》写的,作者段传明。 情感分类是自然语言处理的重要分支,传统情感分类主要有基于情感词典的和基于机器学习的,最新的方法是基于...标注:本博客是参考论文有《传统情感分类方法与机遇深度学习的情感分类方法对比分析》、《自然语言处理中的深度学习:方法及应用》
情感分类是自然语言处理的重要分支,传统情感分类主要有基于情感词典的和基于机器学习的,最新的方法是基于深度学习的。
1、基于情感词典的方法
缺点:受限于情感词典的质量和覆盖度。
定义:是对人脑的简单模拟,核心模式是基于词典和规则,即以情感词典作为判断评论情感极性的主要依据,根据以往经验对现有词汇做出评价的一种模型,eg1:通常把讨厌、糟糕作为消极词,把高兴。快乐作为积极词,通过句子中出现的情感词,预测该句子的情感极性。
依赖于:情感词典的构建和判断规则质量,而两者都需要耗费很多人力,包括人工设计和先验知识。
2、基于机器学习
核心:模型训练
缺点:模型训练依赖于标注数据集的质量,高质量的数据集需要投入大量人工成本。需要高质量的特征构造和选取。
常用特征有:N-gram特征、句法特征等。
3、基于深度学习模型
-
定义:
深度学习是基于特征自学习和深度神经网络(DNN)的一系列机器学习算法的总称。目前深度学习的研究有了长足发展,在传统特征选择与提取框架上取得巨大突破,在自然语言处理、生物医学分析、遥感影像解译等诸多领域产生越来越重要影响,并在计算机视觉和语音识别领域取得革命性突破。
-
NLP研究任务包括
词性标注、机器翻译、命名实体识别、机器问答、情感分析、自动文摘、句法分析和共指消解等。
-
深度学习应用在NLP领域原因:
文本间的关系难以度量,相关研究高度依赖人工构建特征。而深度学习方法的优势恰恰在于其请打的判别能力和特征自学习能力,非常适合高维数、无标签和大数据的特点。 -
不使用传统神经网络原因
传统神经网络无法处理前后关联问题,而深度学习模型RNN解决了该问题。随着距离和先验知识的增加,RNN会出现梯度消失或梯度爆炸情况,因此无法解决长久依赖问题。而LSTM通过三个门结构控制细胞cell,解决上述问题。
-
深度学习优点:
基于深度学习抽象特征,可避免人工提取特征的工作,且通过Word2Vec技术模拟词语之间联系,有局部特征抽象画以及记忆功能,在情感分类中具有极大优势。
-
现有深度学习方法主要分为两个步骤:
- 将需要分类的评论语料表达为语义词向量(Word Embedding);
- 通过不同语义合成方法用词向量得到所对应句子或文档的特征表达式,最后通过深度神经网络进行分类。
3.1 语义词向量表达
在自然语言处理中,很重要的一个问题是如何将一个句子用向量表示。词向量通常是指通过语言模型学习到的词的分布式特征表示,也被称为词编码。可以非稀疏的表示大规模语料中复杂的上下文信息。
BOW(Bag of Words)。
传统文档表示方法是基于词袋模型。
BOW核心思想:忽略文本中的次序和语法、句法,仅看成这些词汇的排列组合,且文本中的词汇没有任何关系。
缺点:- 极高维度:文本向量的维数与训练数据集中出现的所有单词数一样多,且若某一词汇在训练集中未出现过,则会忽视这个词,在测试集中无法成为该文本特征。
- 向量极度稀疏
- 认为词语之间无关系,很难表示一个句子或一篇短文的语义,
- 不同语境下,词袋法很难区分一个词的意义。
Word2Vec
该模型由Mikolov等人提出,核心思想是通过高维向量表示词语,相近词语放在相近位置,因此Word2Vec适合处理序列数据,因为序列局部间的数据存在很大关联。通过Word2Vec可训练语料库模型,获得词向量,且词向量的高维性解决了词语多方向发散问题,从而保证模型的稳定性。
有两种模型:(1)CBOW:通过上下文预测当前词
(2)Skip-gram:通过当前次预测上下文。3.2句子向量
通过不同语义合成(Semantic Composition)方法用词向量得到所对应句子或文档的特征表达,语义词向量就是利用原始词向量合成更高层次的文本特征向量。
3.3深度学习模型
-
循环神经网络和长短记忆神经网络
循环神经网络(Recurrent neural networks,RNN)是隐藏层和自身存在连接的一类神经网络。相较于前馈神经网络,RNN可将本次隐藏层的结果用于下次隐藏层的计算,因此可以用来处理时间序列问题,比如文本生成【28】、机器翻译【29】和语音识别【30】,RNN的优化算法为BPTT算法(backpropagation through time)【31】,由于梯度消失的原因,RNN的反馈误差往往只能向后传递5-10层,因此文献【32】在RNN的基础上提出来长短记忆神经网络(long-short term memory,LSTM).LSTM使用Celljiegou 记忆之前的输入,使得网络可以学习到合适的时机重置Cell结构。
-
卷积神经网络(Convolutional neural networks,CNN)
CNN由文献【40】提出并由文献【41】改进的深度神经网络。在一般前馈神经网络中,输入层和隐藏层之间采用全连接结构,而在CNN中每一个卷积层节点只与一个固定大小的区域有连接,连接的权重矩阵称为卷积核。池化(pooling)是CNN所采用的另一个关键技术,在固定大小的区域使用平均值或最大值代替原有的矩阵区域,既减少了特征数目又增加了网络的鲁棒性。
目前CNN在NLP领域的应有有许多新的尝试。文献【6】将CNN用于语义角色标注,文献【42】使用字符作为语义特征,采用大规模文本语料训练CNN迷行用于本体分类、情感分析和文本分类。
4 基于情感词典、机器学习、深度学习在情感分类中对比
5深度学习瓶颈
目前深度学习的理论依据还处于起步阶段,大部分的研究成果都是经验性的,没有足够的理论来指导实验,研究者无法确定网络架构。超参数设置是否已是最优组合。除此之外,目前仍没有一种通用的神经网络或学习策略可以适用于大多数的应用任务,因此深度学习领域的研究者正在不断尝试新的网络架构和学习策略,以提升网络的泛化能力。
目前深度学习用于NLP领域的主要步骤可以归结为如下3 步:- 将原始文本作为输入,自学习得到文本特征的分布表示。
- 将分布式向量特征作为深度神经网络的输入。
- 针对不同的应用需求,使用不同的深度学习模型,有监督的训练网络权重。
-
-
GIS实战应用案例100篇(四)-影像多种分类方法对比分析(非监督分类、监督分类、决策树分类)
2021-11-26 16:05:211、掌握遥感影像的各种分类方法; 2、比较Landsat数据和哨兵数据分类后的结果; 3、掌握遥感影像分类后处理的基本流程。 主要内容 1、landsat与哨兵2影像非监督分类与监督分类 2、landsat与哨兵2遥感影像决策...目的
1、掌握遥感影像的各种分类方法;
2、比较Landsat数据和哨兵数据分类后的结果;
3、掌握遥感影像分类后处理的基本流程。
主要内容
1、landsat与哨兵2影像非监督分类与监督分类
2、landsat与哨兵2遥感影像决策树分类
3、遥感影像分类后处理
具体步骤
01非监督分类
哨兵影像非监督分类
a)Classification-UnsupervisedClassification-K-Means Classification打开非监督分类面板,选择大气校正后的哨兵影像,设置分类参数,在此分为五类。
图1|K-Means方法参数设置
b)将分类进去的背景值利用矢量边界裁剪掉,并将格式改为dat的,在ArcGis中进行专题图的制作,生成专题图。
Landsat影像非监督分类
与哨兵影像非监督分类的流程相同,并在ArcGIS中制图输出。
-
遥感分类方法概述
2021-04-12 08:10:51早在20世纪70年代,人们就开始利用计算机进行卫星遥感图像的解译研究,其主要方法就是遥感图像目视判读,它依赖于图像解译...然而,由于新的分类方法的大量涌现,遥感图像分类方法出现了多而杂的问题。 总的来.早在20世纪70年代,人们就开始利用计算机进行卫星遥感图像的解译研究,其主要方法就是遥感图像目视判读,它依赖于图像解译人员的解译经验与水平。20世纪80年代,主要是利用统计模式识别方法进行遥感图像的计算机分类,这种方法的特点是根据图像中地物的光谱特征对影像中的地物进行分类。20世纪90年代以来,涌现出了大量的遥感图像分类方法,如人工智能分类法、遥感与GIS结合法、面向对象的分类法、多源信息复合分类法等都取得较好的效果。然而,由于新的分类方法的大量涌现,遥感图像分类方法出现了多而杂的问题。
总的来说,目前的遥感分类方法可以归结为以下几大类,目视解译方法、基于统计理论的分类方法、人工智能方法、其他分类方法。
1. 目视解译
目视解译是一种传统的遥感分类方法,是是根据确定的分类系统和解译标志以及解译经验,对图像进行判读等方法来获取土地利用/覆盖的分类。目视解译方法应用广泛,有操作简单、灵活性强等优点,但是目视解译过于好费时间,而且很大程度收到解译人员经验的影响,不同的解译人员由于其解译经验不一样,其解译结果往往差别较大。因此,在很多新的计算机分类方法出现之后,该方法现在往往和计算机自动分类方法进行结合使用,即人机交互目视解译,能够很大程度提高遥感分类精度。
2. 基于统计理论的分类方法
该方法广泛应用于早期的遥感图像分类中,具有很多成熟的算法。根据分类前能否获得训练样本类别这一先验信息可以分成两大类:监督分类和非监督分类。
监督分类是指在样本类别已知的情况下,从训练集出发得出各个类别的统计信息。然后根据这些统计信息结合一定的:别准则对所有像素进行判别处理,使具有相似特征并满足一定判别准则的像素归并为一类。监督分类方法有最小距离法、马氏距离法、最大似然法、神经元网络分类方法、Parzen窗法、K-近邻法、Parallelpip等;非监督分类是在没有先验知识的情况下,通过计算机采用一定的聚类算法对图像进行聚类统计分析的方法,如K-means算法,模糊c-means算法,AP聚类算法等(赫英明,2011)。
3. 人工智能方法
人工智能分类方法有神经网络分类、决策树分类方法、专家系统分类、遗传算法等。
人工神经网络(ANN):是以模拟人脑神经系统的结构和功能为基础而建立的一种数据分析处理系统,具有对信息的分布式存储,并行处理、自组织、自学习等特点,通过许多具有简单处理能力的神经元的复合作用而具有复杂的非线性映射能力。
决策树分类方法:最早产生于上世纪60年代,到70年代末。该方法首先数据进行处理,利用归纳算法生成可读的规则和决策树,然后使用决策对新数据进行分析。其上决策树是通过一系列规则对数据进行分类的过程。
专家系统分类方法:是一种智能化的计算机程序或软件系统,能够像专家一样分析和解决复杂的实际问题。专家系统分类的关键是知识的发现和推理技术的运用。
遗传算法(GA):是1975年美国Michigan大学教授J.Holland首先提出的。遗传算法抽象于生物体的进化过程,通过全面模拟自然选择和遗传机制,形成一种具有“生成+检验”特征的搜索算法。
4. 其他分类方法
其他分类方法有与GIS结合分类方法、分层分类方法、模糊数学分类方法、面向对象分类方法、支持向量机算法、多源信息复合分类法等。
分层分类法:是根据各类目标的光谱、时间、空间等不同特征,采取相应的信息提取方法,分别建立不同的专题信息层,最后把各专题层合并汇总得到整体分类图。
模糊数学分类方法:产生于20世纪60年代中期,美国控制论专家查德(L.A.Zadeh)首先提出了模糊集概念。它是一种以模糊集合论作为基础,针对不确定性事物的分析方法,和普通集合论中事物归属的绝对化不同。模糊分类法的关键在于确定隶属度和隶属函数,然而这一过程比较复杂,至今尚无一般的规则可以遵循。因此,这种方法一直没有得到较好的推广使用。
面向对象的分类方法:是一种面向对象的影像分割技术,其最重要的特点就是分类的最小单元是由影像分割得到的同质影像对象(图斑),而不再是单个像素,可以实现较高层次的遥感图像分类和目标地物提取。面向对象分类方法不仅利用地物本身的光谱信息,而且充分利用地物的空间信息,包括形状、纹理、面积、大小等要素,因此可以提高信息提取的准确性和可靠性。
支撑向量机(SVM):由Vapnik 提出的,结构风险理论、二次优化理论、核空间理论是SVM的3大基础理论。它是一种基于统计学习理论的新型机器学习算法,通过解算最优化问题,在高维特征空间中寻找最优分类超平面,从而解决复杂数据的分类及回归问题。
多源信息复合分类法:随着遥感和计算机信息技术的飞速发展,航空航天遥感传感器数据获取技术趋向于“三多”(即多平台、多传感器、多角度)和“三高”(即高空间分辨率、高光谱分辨率、高时相分辨率)。因此,多源信息复合分类法可以充分利用已有遥感信息资源,是提高遥感分类精度的有效方法。多源信息复合分类法主要包括基于影像纹理信息结构的分类法、基于时相信息的频谱分析法、基于多角度信息的分类法、基于多分类器的分类法、基于地学专家知识的分类法。
遥感影像分类领域,分类方法众多,各类算法各具特点,一些新的分类技术相比于传统方法在分类精度上有一定提高,但同时也存在一些不足之处。因此,继续探索先进方法以提高遥感影像的分类精度仍然存在广阔的研究空间。在遥感监测过程中,单一的采用某一种方法往往达不到理想的效果,通常会根据遥感监测的目标,结合两种或者多种分类方法进行分类,以提高分类精度。
-
各种聚类方法比较
2021-04-20 23:50:46最近项目用到聚类算法,...聚类技术通常又被称为无监督学习,因为与监督学习不同,在聚类中那些表示数据类别的分类或者分组信息是没有的。 Clustering (聚类),简单地说就是把相似的东西分到一组,聚类的时候,我们... -
多标签分类方法总结——实现方法、评价指标、损失函数
2020-10-14 20:52:15多标签分类比较直观的理解是,一个样本可以同时拥有几个类别标签,比如一首歌的标签可以是流行、轻快,一部电影的标签可以是动作、喜剧、搞笑,一本书的标签可以是经典、文学等,这都是多标签分类的情况。多标签分类... -
不同变化监测方法比较
2020-09-21 10:55:29分类后比较法:优点是简单,但检测的准确性很大程度依赖于预测的土地覆盖类型的准确性,但现有技术土地覆盖类型的预测不能保证绝对准确,因此在变化检测时会产生误差累积(变化监测准确率低于土地覆盖预测的准确率)... -
钢材表面缺陷检测分类不同图像增强方式的对比研究
2022-02-12 20:40:13带钢表面缺陷检测分类不同图像增强方式的对比研究1、直接使用图像数据进行深度学习2、图像增强图像分析形态学top-hat变换图像锐化3、图像增强后的深度学习总结 基于钢材表面缺陷库进行多种缺陷检测分类实验,对比... -
ENVI中的3种图像分类方法
2020-09-29 00:00:44面向对象中的图像分割 面向对象图像分类基于规则和像素 -
文本分类方法总结
2020-01-17 15:01:421 机器学习的文本分类方法 1.1 特征工程 1.1.1 文本预处理 1.1.2 文本表示和特征提取 1.1.3 基于语义的文本表示 1.2 分类器 朴素贝叶斯分类(Naïve Bayes) 用朴素贝叶斯分类算法做中文文本分类 KNN SVM ... -
ENVI软件中决策树分类和监督分类算法比较
2020-08-06 19:32:01本次实验采用多源遥感影像数据,结合ENVI遥感影像处理软件,建立面向对象决策树、自动阈值决策树的规则,实现决策树分类,并对分类结果做精度评价,最后将决策树分类方法与传统监督分类方法进行比较,简要分析了这两类分类... -
常见分类方法
2016-12-30 10:29:19本文只对几种常见的分类方法做简单介绍,详细的讲解和算法网上有很多资源,文中会给出推荐链接。 Content 1. 决策树分类(链接:http://blog.csdn.net/github_36299736/article/details/52749999) 2. 基于规则... -
基于Landsat-8影像的不同水体提取方法精度对比
2021-10-08 23:53:17通过分析比较各方法在不同季节对水体提取的精度影响,发现面向对象法提取效果最佳,NDWI效果次之,监督分类精度最低。监督分类和归一化水体指数对四季水体提取精度较平均,冬季用面向对象法提取水体影响大。 1实验数据... -
WordPress不同分类使用不同列表模板样式
2019-03-27 11:07:24方法一:创建独立ID或别名的样式文件 WordPress默认的分类是查找对应ID的主题文件,找不到就会指向archive.php文件,如果archive.php文件不存在,就会默认使用index.php文件。 到博客后台查看一下要设计样式的分类的... -
机器学习各种分类算法比较
2018-02-08 21:14:50一、 理论上,NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此,这是因为NBC模型假设属性之间相互独立,这个假设在实际应用中往往是不成立的(可以考虑用聚类算法先将相关性较大的属性聚类),... -
对比图像分类五大方法:KNN、SVM、BPNN、CNN和迁移学习
2018-07-01 17:13:18近日,Shiyu Mou 在 Medium 上发表了一篇文章,对五种用于图像分类的方法(KNN、SVM、BP 神经网络、CNN 和迁移学习)进行了实验比较,该研究的相关数据集和代码也已经被发布在了 GitHub 上。项目地址:... -
分类方法概述
2018-01-16 10:48:53单一的分类方法主要包括:决策树、贝叶斯、人工神经网络、K-近邻、支持向量机和基于关联规则的分类等;另外还有用于组合单一分类方法的集成学习算法,如Bagging和Boosting等。 (1)决策树 决策树是用于分类和... -
中文文本分类中特征抽取方法的比较研究.pdf
2009-12-06 10:47:43本文比较研究了在中文文本分类中特征选取方法对分类效果的影响。考察了文档频率 DF、 信息增 益 IG、 互信息 MI、 χ2 分布 CHI四种不同的特征选取方法。采用支持向量机(SVM)和 KNN 两种不同的分类 器以考察不同抽取... -
软件测试方法分类
2016-08-07 21:06:531、按照不同的测试对象划分,可分为黑盒、白盒以及灰盒测试。 测试方法名称 依据 测试对象 理论上的测试目的 实际工作中的测试目的 测试评估标准 测试环境 测试工作介入点 优点 缺点 补充方法 ... -
四种聚类方法之比较
2019-04-15 13:24:57四种聚类方法之比较 -
常见的分类方法
2016-09-27 17:32:08主要分类方法介绍解决分类问题的方法很多[40-42] ,单一的分类方法主要包括:决策树、贝叶斯、人工神经网络、K-近邻、支持向量机和基于关联规则的分类等;另外还有用于组合单一分类方法的集成学习算法,如Bagging和... -
分类模型的评价及比较
2018-09-06 08:42:02评价和比较分类模型时,关注的是其泛化能力,因此不能仅关注模型在某个验证集上的表现。事实上,如果有足够多的样本作为验证集来测试模型的表现是再好不过的,但即使是这样也存在一个难点,比如难界定多大的样本才能... -
【个人笔记】图像分类:传统图像处理 vs 经典机器学习 vs 深度学习的不同
2022-03-09 19:18:12图像分类:传统图像处理 vs 经典机器学习 vs 深度学习的不同 传统图像处理 经典机器学习 深度学习 提取特征模式 人工设计特征 人工设计特征 数据驱动-学习特征 分类模式 人为设定固定阈值 通过学习得到... -
分类模型评估方法
2018-07-04 10:04:05上图矩阵中1是正例,0是只负例对于二分类问题,可以将真实类别和分类器预测类别组合为:真正例(true positive TP):真实类别为正例,预测类别为正例;假正例(false positive FP): 真实类别为负例,预测类别为正例... -
分类结果可视化python_可视化分类结果的另一种方法
2020-08-06 00:06:36分类结果可视化pythonI love good data visualizations. Back in the days when I did my PhD in particle physics, I was stunned by the histograms my colleagues built and how much information was ... -
遥感影像监督分类与非监督分类的比较(pdf)
2010-05-14 09:27:40面[1 - 8 ] ,对于影像分类方法的研究,从不同的方面可以划分为不同的类型. 按照利用图像要素的不同,影像 分类大体可以分为三种:一是基于图像灰度值的分类,二是基于图像纹理的分类,三是基于多源信息融合的 分类[9 ] . ... -
【论文阅读】深度学习与多种机器学习方法在不同的药物发现数据集进行对比
2019-01-06 00:29:34论文来源: Comparison of Deep Learning With Multiple Machine Learning Methods and Metrics ...与贝叶斯方法相结合的指纹类型分子描述符的相对易用性和可用性使得该方法广泛应用于与药物发现相关的各种端点阵列... -
文本分类方法综述
2018-07-31 15:13:17本文主要总结文本分类的方法。 文本分类的本质是文本相似性的度量、计算。 -
分类模型的评估方法
2017-12-14 01:30:19在检验集上计算出的准确率或错误率可以用来比较不同分类器在相同领域上的性能,但需要检验记录的类标号必须已知。 一、保持方法(Holdout) 将被标记的原始数据划分为两个不相交的集合,分别为训练集和检验集。在...