精华内容
下载资源
问答
  • 机器学习萌新必学的Top10算法

    千次阅读 多人点赞 2018-03-16 00:00:00
    机器学习萌新必学的Top10算法在机器学习领域里,不存在一种万能的算法可以完美解决所有问题,尤其是像预测建模的监督学习里。【转自搜狐科技】比方说,神经网络不见得比决策树好,同样反过来也不成立。最后的结果是...
    机器学习萌新必学的Top10算法

    在机器学习领域里,不存在一种万能的算法可以完美解决所有问题,尤其是像预测建模的监督学习里。【转自搜狐科技】


    比方说,神经网络不见得比决策树好,同样反过来也不成立。最后的结果是有很多因素在起作用的,比方说数据集的大小以及组成。所以,针对你要解决的问题,最好是尝试多种不同的算法。并借一个测试集来评估不同算法之间的表现,最后选出一个结果最好的。

    当然,你要选适合解决你问题的算法来尝试。比方说,要打扫房子,你会用真空吸尘器,扫把,拖把;你绝对不会翻出一把铲子来开始挖坑,对吧。不过呢,对于所有预测建模的监督学习算法来说,还是有一些通用的底层原则的。


    机器学习算法,指的是要学习一个目标函数,能够尽可能地还原输入和输出之间的关系。

    然后根据新的输入值X,来预测出输出值Y。精准地预测结果是机器学习建模的任务。


    所以我们来了解一下,Top10机器学习算法


    1线性回归

    统计学与机器学习领域里研究最多的算法。做预测建模,最重要的是准确性(尽可能减小预测值和实际值的误差)。哪怕牺牲可解释性,也要尽可能提高准确性。为了达到这个目的,我们会从不同领域(包括统计学)参考或照搬算法。线性回归可用一条线表示输入值X和输出值Y之间的关系,这条线的斜率的值,也叫系数。

    比方说,y = B0 + B1*x,我们就可以根据X值来预测Y值。机器学习的任务就是找出系数B0和B1。从数据中建立线性回归的模型有不同的方法,比方说线性代数的最小二乘法、梯度下降优化。线性回归已经存在了200多年,相关研究已经很多了。用这个算法关键在于要尽可能地移除相似的变量以及清洗数据。对算法萌新来说,是最简单的算法了。

    2逻辑回归

    这方法来自统计学领域,是一种可以用在二元分类问题上的方法。逻辑回归,和线性回归相似,都是要找出输入值的系数权重。不同的地方在于,对输出值的预测改成了逻辑函数。逻辑函数看起来像字母S,输出值的范围是0到1。把逻辑函数的输出值加一个处理规则,就能得到分类结果,非0即1。比方说,可以规定输入值小于0.5,那么输出值就是1。

    这个算法还可以用来预测数据分布的概率,适用于需要更多数据论证支撑的预测。和线性回归相似,如果把和输出不相干的因子或者相近的因子剔除掉的话,逻辑回归算法的表现会更好。对于二元分类问题,逻辑回归是个可快速上手又有效的算法。

    3线性判别分析

    逻辑回归算法,只能用于二分问题。当输出的结果类别超过两类的时候,就要用线性判别分析算法了。这种算法的可视化结果还比较一目了然,能看出数据在统计学上的特征。这上面的结果都是分别计算得到的,单一的输入值可以是每一类的中位数,也可以是每一类值的跨度。

    基于对每种类别计算之后所得到的判别值,取最大值做出预测。这种方法是假定数据符合高斯分布。所以,最好在预测之前把异常值先踢掉。对于分类预测问题来说,这种算法既简单又给力。

    4分类与回归树

    预测模型里,决策树也是非常重要的一种算法。可以用分两叉的树来表示决策树的模型。每一个节点代表一个输入,每个分支代表一个变量(默认变量是数字类型)

    • 决策树

    决策树的叶节点指的是输出变量。预测的过程会经过决策树的分岔口,直到最后停在了一个叶节点上,对应的就是输出值的分类结果。决策树很好学,也能很快地得到预测结果。对于大部分问题来说,得到的结果还挺准确,也不要求对数据进行预处理。

    5朴素贝叶斯分类器

    这种预测建模的算法强大到超乎想象。这种模型,可以直接从你的训练集中计算出来两种输出类别的概率。一个是每种输出种类的概率;另外一个,是根据给定的x值,得到的是有条件的种类概率。一旦计算之后,概率的模型可以用贝叶斯定理预测新的数据。当你的数据是实数值,那么按理说应该是符合高斯分布的,也就很容易估算出这个概率。

    • 贝叶斯定理

    朴素贝叶斯定理之所以名字里有个“朴素”,是因为这种算法假定每个输入的变量都是独立的。不过,真实的数据不可能满足这个隐藏前提。尽管如此,这个方法对很多复杂的问题还是很管用的。

    6K近邻算法

    最近K近邻的模型表示,就是整个训练集。很直截了当,对吧?对新数据的预测,是搜索整个训练集的值,找到K个最近的例子(literally的邻居)。然后总结K个输出的变量。这种算法难就难在,怎么定义两个数据的相似度(相距多近算相似)。如果你的特征(attributes)属于同一个尺度的话,那最简单的方法是用欧几里得距离。这个数值,你可以基于每个输入变量之间的距离来计算得出。

    最近邻法,需要占用大量的内存空间来放数据,这样在需要预测的时候就可以进行即时运算(或学习)。也可以不断更新训练集,使得预测更加准确。距离或亲密度这个思路遇到更高维度(大量的输入变量)就行不通了,会影响算法的表现。这叫做维度的诅咒。当(数学)空间维度增加时,分析和组织高维空间(通常有成百上千维),因体积指数增加而遇到各种问题场景。所以最好只保留那些和输出值有关的输入变量。

    7学习矢量量化

    最近邻法的缺点是,你需要整个训练集。而学习矢量量化(后简称LVQ)这个神经网络算法,是自行选择训练样例。

    LVQ,是一组矢量,也叫码本。一开始,矢量是随机选的,经过几次学习算法迭代之后,慢慢选出最能代表训练集的矢量。学习完成后,码本就可以用来预测了,就像最近邻法那样。计算新输入样例和码本的距离,可以找出最相近的邻居,也就是最匹配的码本。如果你重新调整数据尺度,把数据归到同一个范围里,比如说0到1之间,那就可以获得最好的结果。如果用最近邻法就获得了不错的结果,那么可以再用LVQ优化一下,减轻训练集储存压力。

    8支持向量机(简称SVM)

    这可能是机器学习里最受欢迎的算法了。超平面是一条可以分割输入变量的空间的“线”。支持向量机的超平面,是能把输入变量空间尽可能理想地按种类切割,要么是0,要么是1。在二维空间里,你可以把超平面可以分割变量空间的那条“线”。这条线能把所有的输入值完美一分为二。SVM的学习目标就是要找出这个超平面。

    超平面和挨得最近的数据点之间的距离,叫做边缘。最理想的超平面,是可以无误差地划分训练数据。 也就是说,每一类数据里距离超平面最近的向量与超平面之间的距离达到最大值。这些点就叫做支持向量,他们定义了超平面。从实际操作上,最理想的算法是能找到这些把最近矢量与超平面值距离最大化的点。支持向量可能是最强的拿来就用的分类器了。值得用数据集试试。

    9随机森林

    随机森林,属于一种重复抽样算法,是最受欢迎也最强大的算法之一。在统计学里,bootstrap是个估算值大小很有效的方法。比方说估算平均值。从数据库中取一些样本,计算平均值,重复几次这样的操作,获得多个平均值。然后平均这几个平均值,希望能得到最接近真实的平均值。而bagging算法,是每次取多个样本,然后基于这些样本建模。当要预测新数据的时候,之前建的这些模型都做次预测,最后取这些预测值的平均数,尽力接近真实的输出值。

    随机森林在这个基础上稍微有点变化。它包含多个决策树的分类器, 并且其输出的类别是由个别树输出的类别的众数而定。如果你的高方差算法取得了不错的结果(比方说决策树),那么用随机森林的话会进一步拿到更好的结果。

    10提升(Boosting)算法和自适应增强(Adaboost)算法

    Boosting的核心是,对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。所得到的第二个弱分类器会纠正第一个弱分类器的误差。弱分类器的不断叠加,直到预测结果完美为止。Adaboost算法是首个成功用于二元分类问题的提升算法。现在有很多提升方法都是基于Adaboost。


    AdaBoost适用于短的决策树。在第一个树建立出来之后,不同的样本训练之后的表现可以作参考,用不同的样本训练弱分类器,然后根据错误率给样本一个权重。很难预测的训练数据应该给更多的权重,反过来,好预测的就少一点权重。模型按顺序一个一个建,每个训练数据的权重都会受到上一个决策树表现的影响。当所有的决策树都建好之后,看新数据的预测表现,结果准不准。因为训练数据对于矫正算法非常重要,所以要确保数据清洗干净了,不要有奇奇怪怪的偏离值。


    最后的最后面对海量的机器学习算法,萌新最爱问的是,“我该选什么算法?”在回答这个问题之前,要先想清楚:

    1)数据的数量、质量、本质;

    2)可供计算的时间;

    3)这个任务的紧急程度;

    4)你用这个数据想做什么。

    要知道,即使是老司机,也无法闭着眼睛说哪个算法能拿到最好的结果。还是得动手试。其实机器学习的算法很多的,以上只是介绍用得比较多的类型,比较适合萌新试试手找找感觉。

    ML & AI 一个有用的公众号

    长按,识别二维码,加关注

    获取更多干货!

    展开全文
  • top10算法PDF

    2008-10-10 16:13:51
    top 10 算法简单介绍,记得是简单介绍。。详细内容可以查询。 随便发下,看过的就打酱油去
  • 机器学习Top10算法,教你选择最合适的那一个!     https://blog.csdn.net/np4rHI455vg29y2/article/details/80221662#commentBox     在机器学习领域里,不存在一种万能的算法可以完美解决所有问题,尤其...

    机器学习Top10算法,教你选择最合适的那一个!

     

     

    https://blog.csdn.net/np4rHI455vg29y2/article/details/80221662#commentBox

     

     

    在机器学习领域里,不存在一种万能的算法可以完美解决所有问题,尤其是像预测建模的监督学习里。

     

    比方说,神经网络不见得比决策树好,同样反过来也不成立。


     

    最后的结果是有很多因素在起作用的,比方说数据集的大小以及组成。


     

    所以,针对你要解决的问题,最好是尝试多种不同的算法。并借一个测试集来评估不同算法之间的表现,最后选出一个结果最好的。


     

    当然,你要选适合解决你问题的算法来尝试。


     

    比方说,要打扫房子,你会用真空吸尘器,扫把,拖把;你绝对不会翻出一把铲子来开始挖坑,对吧。


     

    大的原则


     

    不过呢,对于所有预测建模的监督学习算法来说,还是有一些通用的底层原则的。


     

    机器学习算法,指的是要学习一个目标函数,能够尽可能地还原输入和输出之间的关系。


     

    然后根据新的输入值X,来预测出输出值Y。精准地预测结果是机器学习建模的任务。


     

    So,Top10机器学习算法,了解一下。


     

    1. 线性回归


     

    统计学与机器学习领域里研究最多的算法。


     

    做预测建模,最重要的是准确性(尽可能减小预测值和实际值的误差)。哪怕牺牲可解释性,也要尽可能提高准确性。


     

    为了达到这个目的,我们会从不同领域(包括统计学)参考或照搬算法。


     

    线性回归可用一条线表示输入值X和输出值Y之间的关系,这条线的斜率的值,也叫系数。


     


     

    比方说,y = B0 + B1*x


     

    我们就可以根据X值来预测Y值。机器学习的任务就是找出系数B0和B1。


     

    从数据中建立线性回归的模型有不同的方法,比方说线性代数的最小二乘法、梯度下降优化。


     

    线性回归已经存在了200多年,相关研究已经很多了。用这个算法关键在于要尽可能地移除相似的变量以及清洗数据。


     

    对算法萌新来说,是最简单的算法了。


     

    2.逻辑回归


     

    这方法来自统计学领域,是一种可以用在二元分类问题上的方法。


     

    逻辑回归,和线性回归相似,都是要找出输入值的系数权重。不同的地方在于,对输出值的预测改成了逻辑函数。


     

    逻辑函数看起来像字母S,输出值的范围是0到1。


     

    把逻辑函数的输出值加一个处理规则,就能得到分类结果,非0即1。


    比方说,可以规定输入值小于0.5,那么输出值就是1。


     

     逻辑回归


     

    这个算法还可以用来预测数据分布的概率,适用于需要更多数据论证支撑的预测。


     

    和线性回归相似,如果把和输出不相干的因子或者相近的因子剔除掉的话,逻辑回归算法的表现会更好。


     

    对于二元分类问题,逻辑回归是个可快速上手又有效的算法。


     

    3.线性判别分析


     

    逻辑回归算法,只能用于二分问题。


     

    当输出的结果类别超过两类的时候,就要用线性判别分析算法了。


     

    这种算法的可视化结果还比较一目了然,能看出数据在统计学上的特征。这上面的结果都是分别计算得到的,单一的输入值可以是每一类的中位数,也可以是每一类值的跨度。


     

     线性判别分析


     

    基于对每种类别计算之后所得到的判别值,取最大值做出预测。


     

    这种方法是假定数据符合高斯分布。所以,最好在预测之前把异常值先踢掉。


     

    对于分类预测问题来说,这种算法既简单又给力。


     

    4.分类与回归树


     

    预测模型里,决策树也是非常重要的一种算法。


     

    可以用分两叉的树来表示决策树的模型。每一个节点代表一个输入,每个分支代表一个变量(默认变量是数字类型)


     

     决策树


     

    决策树的叶节点指的是输出变量。预测的过程会经过决策树的分岔口,直到最后停在了一个叶节点上,对应的就是输出值的分类结果。


     

    决策树很好学,也能很快地得到预测结果。对于大部分问题来说,得到的结果还挺准确,也不要求对数据进行预处理。


     

    5.朴素贝叶斯分类器


     

    这种预测建模的算法强大到超乎想象。


    这种模型,可以直接从你的训练集中计算出来两种输出类别的概率。


     

    一个是每种输出种类的概率;另外一个,是根据给定的x值,得到的是有条件的种类概率。


     

    一旦计算之后,概率的模型可以用贝叶斯定理预测新的数据。


     

    当你的数据是实数值,那么按理说应该是符合高斯分布的,也就很容易估算出这个概率。


     

     贝叶斯定理


     

    朴素贝叶斯定理之所以名字里有个“朴素”,是因为这种算法假定每个输入的变量都是独立的。


     

    不过,真实的数据不可能满足这个隐藏前提。尽管如此,这个方法对很多复杂的问题还是很管用的。


     

    6.K近邻算法


     

    最近K近邻的模型表示,就是整个训练集。很直截了当,对吧?


     

    对新数据的预测,是搜索整个训练集的值,找到K个最近的例子(literally的邻居)。然后总结K个输出的变量。


     

    这种算法难就难在,怎么定义两个数据的相似度(相距多近算相似)。


     

    如果你的特征(attributes)属于同一个尺度的话,那最简单的方法是用欧几里得距离。这个数值,你可以基于每个输入变量之间的距离来计算得出。


     

     最近邻法


     

    最近邻法,需要占用大量的内存空间来放数据,这样在需要预测的时候就可以进行即时运算(或学习)。也可以不断更新训练集,使得预测更加准确。


     

    距离或亲密度这个思路遇到更高维度(大量的输入变量)就行不通了,会影响算法的表现。


     

    这叫做维度的诅咒。


     

    当(数学)空间维度增加时,分析和组织高维空间(通常有成百上千维),因体积指数增加而遇到各种问题场景。


     

    所以最好只保留那些和输出值有关的输入变量。


     

    7.学习矢量量化


     

    最近邻法的缺点是,你需要整个训练集。


     

    而学习矢量量化(后简称LVQ)这个神经网络算法,是自行选择训练样例。


     


     

    LVQ,是一组矢量,也叫码本。一开始,矢量是随机选的,经过几次学习算法迭代之后,慢慢选出最能代表训练集的矢量。


     

    学习完成后,码本就可以用来预测了,就像最近邻法那样。计算新输入样例和码本的距离,可以找出最相近的邻居,也就是最匹配的码本。


     

    如果你重新调整数据尺度,把数据归到同一个范围里,比如说0到1之间,那就可以获得最好的结果。


     

    如果用最近邻法就获得了不错的结果,那么可以再用LVQ优化一下,减轻训练集储存压力。


     

    8.支持向量机(简称SVM)


     

    这可能是机器学习里最受欢迎的算法了。


     

    超平面是一条可以分割输入变量的空间的“线”。


     

    支持向量机的超平面,是能把输入变量空间尽可能理想地按种类切割,要么是0,要么是1。


     

    在二维空间里,你可以把超平面可以分割变量空间的那条“线”。这条线能把所有的输入值完美一分为二。


     

    SVM的学习目标就是要找出这个超平面。


     

     支持矢量机


     

    超平面和挨得最近的数据点之间的距离,叫做边缘。


     

    最理想的超平面,是可以无误差地划分训练数据。 也就是说,每一类数据里距离超平面最近的向量与超平面之间的距离达到最大值。


     

    这些点就叫做支持向量,他们定义了超平面。


     

    从实际操作上,最理想的算法是能找到这些把最近矢量与超平面值距离最大化的点。


     

    支持向量可能是最强的拿来就用的分类器了。值得用数据集试试。


     

    9.随机森林


     

    随机森林,属于一种重复抽样算法,是最受欢迎也最强大的算法之一。


     

    在统计学里,bootstrap是个估算值大小很有效的方法。比方说估算平均值。


     

    从数据库中取一些样本,计算平均值,重复几次这样的操作,获得多个平均值。然后平均这几个平均值,希望能得到最接近真实的平均值。


     

    而bagging算法,是每次取多个样本,然后基于这些样本建模。当要预测新数据的时候,之前建的这些模型都做次预测,最后取这些预测值的平均数,尽力接近真实的输出值。


     


    随机森林在这个基础上稍微有点变化。


     

    它包含多个决策树的分类器, 并且其输出的类别是由个别树输出的类别的众数而定。


     

    如果你的高方差算法取得了不错的结果(比方说决策树),那么用随机森林的话会进一步拿到更好的结果。


     

    10. 提升(Boosting)算法和自适应增强(Adaboost)算法


     

    Boosting的核心是,对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。


     

    所得到的第二个弱分类器会纠正第一个弱分类器的误差。弱分类器的不断叠加,直到预测结果完美为止。


     

    Adaboost算法是首个成功用于二元分类问题的提升算法。


     

    现在有很多提升方法都是基于Adaboost。


     

    AdaBoost适用于短的决策树。


     

    在第一个树建立出来之后,不同的样本训练之后的表现可以作参考,用不同的样本训练弱分类器,然后根据错误率给样本一个权重。


     

    很难预测的训练数据应该给更多的权重,反过来,好预测的就少一点权重。


     

    模型按顺序一个一个建,每个训练数据的权重都会受到上一个决策树表现的影响。


     

    当所有的决策树都建好之后,看新数据的预测表现,结果准不准。


     

    因为训练数据对于矫正算法非常重要,所以要确保数据清洗干净了,不要有奇奇怪怪的偏离值。


     

    最后的最后


     

    面对海量的机器学习算法,萌新最爱问的是,“我该选什么算法?”


     

    在回答这个问题之前,要先想清楚:

    • 数据的数量、质量、本质;
    • 可供计算的时间;
    • 这个任务的紧急程度;
    • 你用这个数据想做什么。



      要知道,即使是老司机,也无法闭着眼睛说哪个算法能拿到最好的结果。还是得动手试。



      其实机器学习的算法很多的,以上只是介绍用得比较多的类型,比较适合萌新试试手找找感觉。



      原文链接:
      https://www.kdnuggets.com/2018/02/tour-top-10-algorithms-machine-learning-newbies.html
       
       
       
    展开全文
  • MapReduce中Top算法; 利用Hadoop从100w数据中找到最大值问题.

    Hadoop读书笔记系列文章:http://blog.csdn.net/caicongyang/article/category/2166855

    1.说明:

    从给定的文件中的找到最大值,给定的数据文件格式如下:

    533
    16565
    17800
    2929
    11374
    9826
    6852
    20679
    18224
    21222
    8227
    5336
    912
    29525
    3382
    2100
    10673
    12284
    31634
    27405
    18015
    ...
    


    2.代码:

    TopApp.java

    package suanfa;
    
    import java.io.IOException;
    import java.net.URI;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.LongWritable;
    import org.apache.hadoop.io.NullWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapred.TestMiniMRClientCluster.MyReducer;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.Mapper;
    import org.apache.hadoop.mapreduce.Reducer;
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    
    /**
     * <p> 
     * Title: TopApp.java 
     * Package suanfa 
     * </p>
     * <p>
     * Description: 从算1000w个数据中找到最大值
     * <p>
     * @author Tom.Cai
     * @created 2014-12-2 下午10:28:33 
     * @version V1.0 
     *
     */
    public class TopApp {
    	private static final String INPUT_PATH = "hdfs://192.168.80.100:9000/top_input";
    	private static final String OUT_PATH = "hdfs://192.168.80.100:9000/top_out";
    	
    	
    	public static void main(String[] args) throws Exception {
    		Configuration conf = new Configuration();
    		final FileSystem fileSystem = FileSystem.get(new URI(INPUT_PATH), conf);
    		final Path outPath = new Path(OUT_PATH);
    		if(fileSystem.exists(outPath)){
    			fileSystem.delete(outPath, true);
    		}
    		
    		final Job job = new Job(conf , TopApp.class.getSimpleName());
    		FileInputFormat.setInputPaths(job, INPUT_PATH);
    		job.setMapperClass(MyMapper.class);
    		job.setReducerClass(MyReducer.class);
    		job.setOutputKeyClass(LongWritable.class);
    		job.setOutputValueClass(NullWritable.class);
    		FileOutputFormat.setOutputPath(job, outPath);
    		job.waitForCompletion(true);
    	}
    	
    	static class MyMapper extends  Mapper<LongWritable, Text, LongWritable, NullWritable>{
    		long max = Long.MAX_VALUE;
    		@Override
    		protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
    			long temp = Long.parseLong(value.toString());
    			if(temp>max){
    				max = temp;
    			}
    		}
    
    		@Override
    		protected void cleanup(Context context) throws IOException, InterruptedException {
    			context.write(new LongWritable(max), NullWritable.get());
    		}
    	}
    	
    	
    	static class MyReducer extends  Reducer<LongWritable, NullWritable, LongWritable, NullWritable>{
    		long max = Long.MAX_VALUE;
    		@Override
    		protected void reduce(LongWritable key, Iterable<NullWritable> value, Context context) throws IOException, InterruptedException {
    			long temp = Long.parseLong(value.toString());
    			if(temp>max){
    				max = temp;
    			}
    		}
    		
    		@Override
    		protected void cleanup(Context context) throws IOException, InterruptedException {
    			context.write(new LongWritable(max), NullWritable.get());
    		}
    		
    	}
    }
    


    欢迎大家一起讨论学习!

    有用的自己收!

    记录与分享,让你我共成长!欢迎查看我的其他博客;我的博客地址:http://blog.csdn.net/caicongyang


    展开全文
  • 吴信东--数据挖掘top10算法

    千次阅读 2009-12-31 21:53:00
    背景: 09年12.31日下午,应清华大学智能计算实验室邀请,吴教授在...附数据挖掘top 10算法列表:  C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART 详细论文请参阅: ...

    背景:

    09年12.31日下午,应清华大学智能计算实验室邀请,吴教授在清华深圳研究院C栋做了一个讲座。

     

    人物:

    吴信东,计算机科学家,数据挖掘领域知名学者。

    (以下来自http://zx.china-b.com/hfgydx/zixun_22448.html

    吴信东教授是国际学报知识与信息系统(Knowledge and Information Systems)的创办人、主编(1999年1月~2004年12月) 、和名誉主编(2005年1月至今) ,国际电机与电子工程师学会“国际数据挖掘大会”(IEEE International Conference on Data Mining) 的创办人和指导委员会主席(2001年至今),德国Springer出版社高等信息与知识处理(Advanced Information and Knowledge Processing)系列丛书的两名主编之一,和国际电机与电子工程师学会计算机学会(IEEE Computer Society)智能信息处理(Intelligent Informatics)委员会的主任(2002~2008)。他曾受邀、受聘在11个国际会议上作特邀或主题报告,在8份学术期刊的编委会和100多个专业会议的程序委员会上担任各种职务,包括《IEEE Transactions on Knowledge and Data Engineering》的副编(Associate Editor, 2000年1月~2003年12月)、主编(2005年1月至今)、和几个会议的大会主席或程序委员会主席。

    (以下来自http://zh.wikipedia.org/wiki/%E5%90%B4%E4%BF%A1%E4%B8%9C

    1984年8月获合肥工业大学微型机应用研究所计算机应用学士学位。 1987年7月获合肥工业大学计算机与信息系计算机应用硕士学位。 1993年7月获英国爱丁堡大学人工智能博士学位。 1987年7月至1991年3月在合肥工业大学任助教。 1993年7月至2001年8月,曾先后在澳大利亚詹姆士库克大学(James Cook)任讲师,蒙纳许大学(Monash)任高级讲师,和美国的科罗拉多州立矿业学院(Colorado School of Mines)任副教授。 2001年9月至今,在美国佛蒙特(Vermont)州佛蒙特大学计算机科学系任正教授兼系主任。

     

    讲座主题:

    主要介绍评选top10算法的整个过程,从想法到最终实现。

     

    内容概览:

    top10算法的前期背景是吴教授在香港做了一个关于数据挖掘top10挑战的一个报告,会后有一名内地的教授提出了一个类似的想法。吴教授觉得非常好,开始着手解决这个事情。找了一系列的大牛(都是数据挖掘的大牛),都觉得想法很好,但是都不愿自己干。原因估计有一下几种:1.确实很忙2.得罪人3.一系列工作很繁琐等等。最后和明尼苏达大学的Vipin Kumar教授一起把这件事情承担下来。先是请数据挖掘领域获过kdd和icdm大奖的十四个牛人提名候选,其中一人因为确实很忙,正从ibm转行到微软,吴教授虽然没提其名字,但从经历来看,应该就是我眼中的数据挖掘之父印度人--Rakesh Agrawal,就是他没有给出提名,其他13位都给出了自己心中的候选。经过汇总和筛选,共有18个算法,涵盖分类,聚类,图挖掘,关联分析,rough set等领域。由于是算法,一些比较有影响的领域,如神经网络,进化算法等都没有一个特别具体的算法,只能是一个比较大的框架或者思想等,就没有入选。汇总后,吴和Vipin Kumar就开始吵架,吴想删掉一些算法,比如naive bayes,他觉得过于简单,而Vipin Kumar则想添加一些,比如基于规则的挖掘算法(忘记吴是怎样说的了,大概就是这个意思)。最后作为一个折中,谁都没有增删其中的算法。第二步请更多的大牛,包括其中提名的那些最大牛进行投票,每人仅有一票,最终得出了其中的10个作为最后的算法。有些人的几个算法(韩家炜教授有三个算法成为候选,但一个也没有进入top10)都很优秀,却因为开创性,影响力等问题一个也没有入选最终名单。

    在大会上宣布的时候,要请一些人来讲这些算法,大家都开开心心的来了,却因为算法的前后排名不高兴。(邀请的时候没说排名,只说进入top10),cart的宣讲人是该系统的拥有公司的一个技术顾问来讲的(发明此算法的四位统计学家,如breiman等,由于年龄问题,其中两位都已经过世了,有一个已经退休,都无法前来,而且他们已经将cart的所有权全部转让给一家公司了),一看自己是第一个讲得,不开心,尽管是凤尾,呵呵。等到最后一个讲完,他更是不开心,原因是第一个竟敢是C4.5,这个和cart都是决策树的经典算法,而且cart还比c4.5提出来的早,c4.5的一些思想直接或间接来源于此。吴见状,上前道:您觉得这十个算法哪几个容易被人凝记,这人带气曰:“我哪知道”,吴答道:最后一个和最前一个,这人呵呵一笑,笑得是老有深意啦。

     

    特别爆料:

    另据吴教授讲,他正准备在明年悉尼的会议上推出top10 case,既是数据挖掘应用的十个案例(或者领域),大家期待吧!

     

    附数据挖掘top 10算法列表:

     C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART

    详细论文请参阅:http://cid-e9e3c8934f6e9b47.skydrive.live.com/self.aspx/Papers/Top%2010%20algorithms%20in%20data%20mining.pdf

    展开全文
  • 在机器学习领域里,不存在一种万能的算法可以完美解决所有问题,尤其是像预测建模的监督学习里。     比方说,神经网络不见得比决策树好,同样反过来也不成立。   最后的结果是有很多因素在起作用的,比方...
  • TopK算法

    2021-04-15 09:39:27
    TopK算法
  • top k 算法

    2013-10-15 20:37:56
    top k 算法实现 ,以及算法的具体描述
  • TopN算法

    千次阅读 2016-11-29 20:31:57
    TopN算法
  • Top N 算法

    千次阅读 2016-01-27 08:23:26
    Top N算法 本期内容:  1、基础Top N 算法  2、分组Top N算法  3、排序算法 RangePartition Top N(首先实现排序算法,一般否较为复杂),分组Top N 常见的算法。 (只要是改变每一行列的数据,一般都是...
  • top N 算法

    2013-03-20 15:26:55
    top N 算法,我只是转载,感谢原作者,求实严谨的态度,学习 http://blog.chinaunix.net/uid/20528042.html
  • Top K算法

    2020-03-23 16:34:23
    Top K算法 问题描述: 从arr[1, n]这n个数中,找出最大的k个数,这就是经典的TopK问题。 栗子: 从arr[1, 12]={5,3,7,1,8,2,9,4,7,2,6,6} 这n=12个数中,找出最大的k=5个。 一、排序 排序是最容易想到的方法,将n个...
  • topk算法实现

    千次阅读 2019-03-01 11:07:27
    1.1 算法思路 这里假设你对快排已经熟悉。我们知道快排是随机找个标识,然后用此标识进行排序。 我们进行降序排序的方式,第一次进行排序后,就能获得在序列中的大小位置。如果它正好是第k大,那么它左边的数组就是...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 6,845
精华内容 2,738
关键字:

top算法