精华内容
下载资源
问答
  • Jordan和Mitchell两位Machine learning大牛在Science 杂志综述长文——机器学习发展趋势和前景
  • 机器学习及其发展方向.pdf
  • 机器学习发展方向

    2020-11-24 16:05:13
    Artificial Intelligence --> Machine Learning --> Deep Learning --> Deep Reinforcement Learning --> Deep Meta Learning

    Artificial Intelligence --> Machine Learning --> Deep Learning --> Deep Reinforcement Learning --> Deep Meta Learning

    展开全文
  • 人工智能与机器学习发展趋势.pdf
  • 本文主要叙述了 1.机器学习的研究现状,包括定义,应用领域,研究意义,发展史,系统结构,和对其进行各种角度的分类. 2.机器学习发展趋势
  • 机器学习发展与未来

    千次阅读 2019-08-05 09:29:10
    今天读周志华老师的报告(机器学习发展与未来)时,发现周老师许多的新奇观点,记录如下: 虽然AlphaGo战胜人类,但是距离超越人类仍旧有很长的路要走,其中一个重要原因就是其鲁棒性,相对于人类系统相差甚远,...

    今天读周志华老师的报告(机器学习:发展与未来)时,发现周老师许多的新奇观点,记录如下:


    • 虽然AlphaGo战胜人类,但是距离超越人类仍旧有很长的路要走,其中一个重要原因就是其鲁棒性,相对于人类系统相差甚远,当人类犯错时,水平有可能是从九段降到八段;而机器犯错,则可能是从九段直接降到业余水准!
    • 传统机器学习的任务主要是封闭静态环境的,其中数据分布恒定,样本类别恒定,样本属性恒定,而且评价目标恒定,其发展方向一定是转型开放动态环境的!
    • 机器学习的现有形态:算法+数据
    • 机器学习的技术局限性:1)需要大量训练样本;2)难以适应环境变化;2)黑箱模型:黑箱模型在一定程度上导致其模型的不稳定性;
    • 机器学习可能会有寒冬,但是新出现的技术一定是能够更好享受计算机算力提高所带来的福利的技术!
    展开全文
  • 机器学习研究现状与发展趋势.pdf
  • 细粒度分析学科领域热点主题发展脉络并对利用机器学习算法对未来发展趋势进行准确预测研究。防法/过程」提出一种基于机器学习算法的研究热点趋势预测方法与分析框架,以基因工程领域为例利用主题概率模型识别WOS核心...
  • 机器学习发展历史回顾

    千次阅读 2020-10-28 20:45:51
    机器学习发展历史回顾 本文为回溯机器学习发展历史阅读笔记,全文链接:机器学习发展历史回顾 在之后的学习中会以此为学习路线,逐步阅读所有机器学习方面的经典论文,并对本文中简略提及的算法进行总结和详细分析。...

    机器学习发展历史回顾

    本文为回溯机器学习发展历史阅读笔记,全文链接:机器学习发展历史回顾
    在之后的学习中会以此为学习路线,逐步阅读所有机器学习方面的经典论文,并对本文中简略提及的算法进行总结和详细分析。

    1 概述

    机器学习是现阶段解决很多人工智能问题的主流方法。最早的机器学习算法可以追溯到20世纪初,到今天为止,已经过去了100多年。从1980年机器学习称为一个独立的方向开始算起,到现在也已经过去了近40年。

    2 分类

    总体上,机器学习算法可以分为有监督学习无监督学习强化学习 3种类型。半监督学习可以认为是有监督学习与无监督学习的结合,不在本文讨论的范围之类。

    2.1 有监督学习

    定义: 通过训练样本学习得到一个模型,然后用这个模型进行推理。
    关键词: 有样本训练
    举例: 识别水果图像 (分类问题)

    1. 人工标注
    2. 样本训练得到模型
    3. 利用模型对未知水果进行判断(预测)

    若上述预测的是一个实数,如根据一个人的学历、工作年限、所在城市、行业等特征来预测这个人的收入,则属于回归问题

    2.2 无监督学习

    定义: 没有训练过程,给定一些样本数据,让机器学习算法直接对这些数据进行分析,得到数据的某些知识。
    关键词: 没有训练过程
    举例: 网页归类 (聚类)

    1. 抓取1w个网页
    2. 聚类算法对网页进行归类

    无监督学习的另外一类典型算法是数据降维,它将一个高维向量变换到低维空间中,并且要保持数据的一些内在信息和结构。

    2.3 强化学习

    定义: 强化学习是一类特殊的机器学习算法,算法要根据当前的环境状态确定一个动作来执行,然后进入下一个状态,如此反复,目标是让得到的收益最大化。
    关键词: 有优化过程,启发式搜索
    举例: 围棋游戏
    在每个时刻,要根据当前的棋局决定在什么地方落棋,然后进行下一个状态,反复的放置棋子,直到赢得或者输掉比赛。这里的目标是尽可能的赢得比赛,以获得最大化的奖励。

    2.4 总结

    总结来说,这些机器学习算法要完成的任务是:

    分类算法-是什么? 即根据一个样本预测出它所属的类别。

    回归算法-是多少? 即根据一个样本预测出一个数量值。

    聚类算法-怎么分? 保证同一个类的样本相似,不同类的样本之间尽量不同。

    强化学习-怎么做? 即根据当前的状态决定执行什么动作,最后得到最大的回报。

    3 详细介绍

    3.1 有监督学习

    下图列出了经典的有监督学习算法(深度学习不在此列):
    有监督学习中的经典算法

    3.1.1 线性判别分析(LDA)

    来历:1936年,Fisher
    Fisher, R. A. (1936). The Use of Multiple Measurements in Taxonomic Problems. Annals of Eugenics. 7 (2): 179–188.
    类别:有监督的数据降维算法
    介绍:通过线性变换将向量投影到低维空间中,保证投影后同一种类型的样本差异很小,不同类的样本尽量不同。

    3.1.2 贝叶斯分类器

    来历:1950年代
    类别:分类器
    介绍:基于贝叶斯决策理论,把样本分到后验概率最大的那个类。

    3.1.3 logistic回归

    来历:1958年
    Cox, DR (1958). The regression analysis of binary sequences (with discussion). J Roy Stat Soc B. 20 (2): 215–242.
    类别:解决回归问题
    介绍:它直接预测出一个样本属于正样本的概率,在广告点击率预估、疾病诊断等问题上得到了应用。

    3.1.4 感知器模型

    来历:1958年
    Rosenblatt, F. (1958). “The Perceptron: A Probalistic Model For Information Storage And Organization In The Brain”. Psychological Review. 65 (6): 386–408.
    类别:线性分类器
    介绍:它过于简单,甚至不能解决异或问题,因此不具有实用价值,更多的起到了思想启蒙的作用,为后面的算法奠定了思想上的基础。
    个人理解:非黑即白的分类器

    3.1.5 KNN

    来历:1967年
    Thomas M Cover, Peter E Hart. Nearest neighbor pattern classification. IEEE Transactions on Information Theory, 1967.

    介绍:这是一种基于模板匹配思想的算法,虽然简单,但很有效,至今仍在被使用。

    总结: 在1980年之前,这些机器学习算法都是零碎化的,不成体系。但它们对整个机器学习的发展所起的作用不能被忽略。
    从1980年开始,机器学习才真正成为一个独立的方向。在这之后,各种机器学习算法被大量的提出,得到了快速发展。

    3.1.6 决策树

    来历:1980年代到1990年代初期,三种典型实现——ID3[4],CART[5],C4.5[6]
    [4] Quinlan, J. R. 1986. Induction of Decision Trees. Mach. Learn. 1, 1 (Mar. 1986), 81–106
    [5] Breiman, L., Friedman, J. Olshen, R. and Stone C. Classification and Regression Trees, Wadsworth, 1984.
    [6] Quinlan, J. R. C4.5: Programs for Machine Learning. Morgan Kaufmann Publishers, 1993.

    介绍:简单,但可解释性强,这使得决策树至今在一些问题上仍被使用。

    3.1.7 反向传播算法

    来历:1986年
    David E. Rumelhart, Geoffrey E. Hinton, and Ronald J. Williams. Learning internal representations by back-propagating errors. Nature, 323(99): 533-536, 1986.
    介绍:这是现在的深度学习中仍然被使用的训练算法,奠定了神经网络走向完善和应用的基础。

    3.1.8 卷积神经网络

    来历:1989年
    Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel, Backpropagation Applied to Handwritten Zip Code Recognition. 1989.
    介绍:1989年,LeCun设计出了第一个真正意义上的卷积神经网络[13],用于手写数字的识别,这是现在被广泛使用的深度卷积神经网络的鼻祖。

    总结: 在1986到1993年之间,神经网络的理论得到了极大的丰富和完善,但当时的很多因素限制了它的大规模使用。

    3.1.9 SVM

    来历:1995年
    介绍:SVM代表了核技术的胜利,这是一种思想,通过隐式的将输入向量映射到高维空间中,使得原本非线性的问题能得到很好的处理。

    3.1.10 AdaBoost

    来历:1995年
    介绍:代表了集成学习算法的胜利,通过将一些简单的弱分类器集成起来使用,居然能够达到惊人的精度。

    3.1.11 LSTM

    来历:2000年
    介绍:在很长一段时间内一直默默无闻,直到2013年后与深度循环神经网络整合,在语音识别上取得成功。

    3.1.12 随机森林

    来历:2001年
    介绍:与AdaBoost算法同属集成学习,虽然简单,但在很多问题上效果却出奇的好,因此现在还在被大规模使用。

    总结: 从1980年开始到2012年深度学习兴起之前,有监督学习得到了快速的发展,这有些类似于春秋战国时代,各种思想和方法层出不穷,相继登场。另外,没有一种机器学习算法在大量的问题上取得压倒性的优势,这和现在的深度学习时代很不一样。

    3.2 无监督学习

    相比于有监督学习,无监督学习的发展一直和缓慢,至今仍未取得大的突破。下面我们按照聚类数据降维两类问题对这些无监督学习算法进行介绍。

    3.2.1 聚类

    聚类算法的历史与有监督学习一样悠久。层次聚类算法出现于1963年[26],这是非常符合人的直观思维的算法,现在还在使用。它的一些实现方式,包括SLINK[27],CLINK[28]则诞生于1970年代。
    聚类算法的发展

    3.2.1.1 k均值算法

    聚类算法中知名度最高的,其历史可以追溯到1967年,此后出现了大量的改进算法,也有大量成功的应用,是所有聚类算法中变种和改进型最多的。

    3.2.1.2 EM算法

    诞生于1977年,它不光被用于聚类问题,还被用于求解机器学习中带有缺数数据的各种极大似然估计问题。

    3.2.1.3 Mean Shift算法

    Mean Shift算法[32]早在1995年就被用于聚类问题,和DBSCAN算法[30],OPTICS算法[31]一样,同属于基于密度的聚类算法。

    3.2.1.4 谱聚类算法

    诞生于2000年左右,它将聚类问题转化为图切割问题,这一思想提出之后,出现了大量的改进算法。

    3.2.2 数据降维

    经典的PCA算法[14]诞生于1901年,这比第一台真正的计算机的诞生早了40多年。LDA在有监督学习中已经介绍,在这里不再重复。
    数据降维算法发展历史

    3.2.2.1 核PCA

    来历:1998年
    介绍:非线性降维算法。这是核技术的又一次登台,与PCA的结合将PCA改造成了非线性的降维算法。

    3.2.2.2 局部线性嵌入LLL

    来历:2000年
    介绍:非线性方法。此后,拉普拉斯特征映射,局部保持投影,等距映射等算法相继提出[17-19]。流形学习在数学上非常优美,但遗憾的是没有多少公开报道的成功的应用。

    3.2.2.3 t-SNE算法

    降维算法中年轻的成员,诞生于2008年,虽然想法很简单,效果却非常好。

    3.3 概率图模型

    概率图模型是机器学习算法中独特的一个分支,它是图与概率论的完美结合。在这种模型中,每个节点表示随机变量,边则表示概率。有些晦涩,但理解了之后并不难。
    概率图模型发展历史

    3.3.1 隐马尔可夫模型

    诞生于1960年,在1980年代,它在语音识别中取得了成功,一时名声大噪,后来被广泛用于各种序列数据分析问题,在循环神经网络大规模应用之前,处于主导地位。

    3.3.2 马尔可夫随机场

    马尔可夫随机场诞生于1974年[23],也是一种经典的概率图模型算法。

    3.3.3 贝叶斯网络

    贝叶斯网络[22]是概率推理的强大工具,诞生于1985年,其发明者是概率论图模型中的重量级人物,后来获得了图灵奖。

    3.3.4 条件随机场

    条件随机场[24]是概率图模型中相对年轻的成员,被成功用于中文分词等自然语言处理,还有其他领域的问题,也是序列标注问题的有力建模工具。

    3.4 强化学习

    相比有监督学习和无监督学习,强化学习在机器学习领域的起步更晚。虽然早在1980年代就出现了时序差分算法[42-44],但对于很多实际问题,我们无法用表格的形式列举出所有的状态和动作,因此这些抽象的算法无法大规模实用。
    强化学习发展历史

    神经网络与强化学习的结合,即深度强化学习46-50],才为强化学习带来了真正的机会。在这里,深度神经网络被用于拟合动作价值函数即Q函数,或者直接拟合策略函数,这使得我们可以处理各种复杂的状态和环境,在围棋、游戏、机器人控制等问题上真正得到应用。神经网络可以直接根据游戏画面,自动驾驶汽车的摄像机传来的图像,当前的围棋棋局,预测出需要执行的动作。其典型的代表是DQN[46]这样的用深度神经网络拟合动作价值函数的算法,以及直接优化策略函数的算法[47-50]。

    展开全文
  • 机器学习发展方向

    千次阅读 2015-03-08 21:17:23
    1. Deep learning (深度学习), 这是近年来最火的研究方向,其实就是基于神经网络, 但需要deep structure. 以前因为种种的限制(hardware, lack of fast algorithm), deep learning没有太多得被关注,但近年来随着...
    1. Deep learning (深度学习), 这是近年来最火的研究方向,其实就是基于神经网络, 但需要deep structure. 以前因为种种的限制(hardware, lack of fast algorithm), deep learning没有太多得被关注,但近年来随着硬件和算法上的突破, 迅速成了业界最热的研究方向。目前已经应用到了语音识别,图像识别,NLP等等领域。尤其是在语音识别的图像识别上取得了很大的突破,做得非常出色的学者有Hilton(多伦多大学,现在搬到了GOOGLE), 斯坦福的andrew和他的学生,还有google,microsoft也都在投入很多钱在这个方向上。百度也在硅谷建立了深度学习的实验室。
    

    2. Distributed/Parallel Computing. 训练机器学习算法是非常expensive的,而且随着大数据的到来,怎么把机器学习算法并行化或者用分布式的方式来解决是一个非常重要的问题。像hadoop也是迎合了这种需求。 但是这些平台目前还是只适合做数据处理(data precessing), 并不能完全并行化机器学习的核心算法,怎么去并行化而且快速的优化是一个值得研究的问题。 除了map-reduce,还有像GraphLab也是在做这个事情, 而且非常出色的框架,由CMU的Carlos (现在在UW)的团队做的,它可以做相对比较复杂的算法(像collaborative filtering, k-means, belief propagation..) 我觉得这个方向很有前途

    3. Bayesian/Nonparametric。 这个领域也是随着硬件的发展而迅速崛起的领域。 像Bayesian mixture model, Dirichlet Mixture model, LDA, HDP, DP Process, Gaussian process,etc. 很多很多算法都可以设计成bayesian, 蛮有意思的。 除了具体的算法,这个领域还有一个重要的分支就是optimization, 像gibbs sampling, variational inference,而且怎么把它parallel也是很有趣的问题。 这个领域有几个大牛 (Michael Jordan (UC Berkeley), David Blei(Princeton), Tech(英国的学校),还有一个剑桥的教授,Emily Fox(UW), Taskar(UW), 还有一个BROWN大学的Erik Sudderth。

    4. 如果喜欢应用的领域,可以去考虑推荐系统(collaborative filtering, content-based filtering, cold start problem.etc), 文本挖掘(opinion mining, search, text summarization. etc), 社交网数据分析(spam detection, geo-location analysis, keyword extraction.. 很多很多。。). 如果做文本挖掘, 我觉得用深度学习很有前途(虽然还没有完整的系统说深度学习很出色,但很多人正在尝试)。

    学好机器学习最重要的还是先选好一个问题(根据自己的爱好,不要太在乎以后的就业), 然后把这个问题一直做下去,等你能在你的领域上发出高质量的论文的时候,你已经差不多成为机器学习的专家了。

    FROM:http://www.douban.com/note/347941130/

    展开全文
  • 机器学习是指通过计算机学习数据中的内在规律性信息,获得新的经验和知识,以提高计算机的智能性,使计算机能够像人那样去决策。随着各行业对数据的需求量增多,对处理和分析数据的效率要求变高,一系列机器学习算法...
  • Q: 机器学习未来的发展形势如何,该如何选择未来的求职方向 A:我的理解 人工智能和机器学习只是一种技术 或者一种工具 未来要结合社会和时代的需要 把它的价值挖掘出来 目前的无人车 无人机 人脸语音图像 等都只是...
  • 基于机器学习的故障诊断研究现状与未来发展趋势.pdf
  • 机器学习发展简史

    千次阅读 2017-01-16 11:06:42
    本文主要参考中科院自动化研究所复杂系统与智能科学实验室王珏研究员《关于机器学习的讨论》,讨论机器学习的描述,理论基础,发展历史以及研究现状。
  • 不久前,清华大学人工智能研究院发布了《人工智能之机器学习》的研究报告,对机器学习发展历程、代表性专业技术、学者概况、发展趋势及应用现状等内容进行深入的梳理和概括。
  • 人工智能是国家发展的战略,未来发展的必然趋势。 将来很多岗位终将被人工智能所代替,但人工智能人才只会越来越吃香。 中国人工智能人才缺口超过500万,人才供不应求。 要想掌握人工智能,机器学习是基础、是...
  • 细粒度分析学科领域热点主题发展脉络并对利用机器学习算法对未来发展趋势进行 准确预测研究。[方法/过程] 提出一种基于机器学习算法的研究热点趋势预测方法与分析框架,以基因工程领 域为例利用主题概率模型识别 WOS...
  • 机器学习应用场景与发展趋势.docx
  • 此次比赛成为AI历史上里程碑式的事件,也让强化学习成为机器学习领域的一个热点研究方向。   强化学习是机器学习的一个子领域,研究智能体如何在动态系统或者环境中以“试错”的方式进行学习,通过与系统或...
  • 迁移学习是指用已存有的知识对不同但相关领域问题进行求解的一种机器学习方法。 增量学习是指一个学习系统能不断地从新样本中学习新的知识,并能保存大部分已经学习到的知识。 10、在线学习 机器学习中的在线学习...
  • 分布式机器学习平台比较

    千次阅读 2017-08-15 10:51:27
    当然,资金驱动着这些技术以极快的速度向前发展,而且,最近我们已经看到了有很多机器学习平台正在建立起来。 这篇文章调查分析了多个分布式机器学习平台所使用的设计方法,并提出了未来的研究方
  • 数据是载体,智能是目标,而机器学习是从数据通往智能的技术、方法途径。因此,机器学习是数据科学的核心,是现代人工智能的本质。通俗地说,机器学习就是从数据中挖掘出有价值的信息。 数据本身是无意识的,它不能...
  • 银行业机器学习与大数据发展趋势分析.docx
  • 机器学习是人工智能研究领域中一个极其重要的研究方向,在现今的大数据时代背景下,捕获数据并从中萃取有价值的信息或模式,成为各行业求生存、谋发展的决定性手段,这使得这一过去为分析师和数学家所专属的研究领域...
  • Python因易于学习而广为人知,并且它仍然是数据科学,机器学习和科学计算中使用最广泛的语言。根据最近的一项民意的调查,该调查对1,800多名研究人员分析,数据科学和机器学习偏好的参与者进行了调查,Python在2019...
  • 浅谈机器学习的职业发展方向

    千次阅读 2016-04-09 14:14:19
    一、机器学习相关的公司分析 1、大的有师傅的公司 这类公司主要是百度,阿里和腾讯。共同的特点是数据很大,机器学习的团队比较庞大,一般进去的同学都可以有师傅带着学习,进步会比较快。 但是三个公司的特点...
  • 当前,大数据技术和应用吸引了众多的关注,对大量结构繁多的数据进行分析并获得知识,需要充分利用...本文主要讨论了大数据时代机器学习发展趋势和研究重点,并对与大数据相关性大的几个关键技术进行了分析介绍。
  • 机器学习的前沿发展与应用分享

    千次阅读 2020-04-21 12:30:00
    疫情爆发近四个月的时间,我们的生活习惯也在不知不觉发生了变化。从出入都要出示的健康码,到居家隔离的线上购物、办公等等。互联网已经融入了我们的生活,而这一切都与计算机科学的发展有着密不可分...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 141,157
精华内容 56,462
关键字:

机器学习的发展方向