精华内容
下载资源
问答
  • 自我学习

    2012-06-15 15:16:10
    我写的东西都是为了自己以后在查找时,学习方便,如果对大家有用,我非常开心,如果你觉得是垃圾,你就飘过,飘过! 山间竹笋嘴尖皮厚腹中空!
    我写的东西都是为了自己以后在查找时,学习方便,如果对大家有用,我非常开心,如果你觉得是垃圾,你就飘过,飘过! 山间竹笋嘴尖皮厚腹中空!
    
    展开全文
  • 很不错的程序员自我学习自我培训指南。如果你想提升自己,成为一个合格的天天向上的程序员,这篇文章就是为你准备的。
  • 1.什么是自我学习(Self-Taught Learning)与半监督学习首先,什么是半监督学习?当你手头上拥有在大量未标注数据和少量的已标注数据,那这种场景就可以说是半监督学习。自我学习和半监督学习的场景一样,不过有个...

    该章节参考ufldl

    1.什么是自我学习(Self-Taught Learning)与半监督学习

    首先,什么是半监督学习?当你手头上拥有在大量未标注数据少量的已标注数据,那这种场景就可以说是半监督学习。自我学习和半监督学习的场景一样,不过有个细节不一样。

    自学习(self-taught learning) 是更为一般的、更强大的学习方式,它不要求未标注数据 和已标注数据有同样的分布。而半监督学习不一样,它要求未标注数据 和已标注数据服从同样的分布。下面通过例子解释二者的区别。

    假定有一个计算机视觉方面的任务,目标是区分汽车和摩托车图像;哪里可以获取大量的未标注数据呢?最简单的方式可能是从互联网上下载一些随机的图像数据集,在这些数据上训练出一个稀疏自编码器,从中得到有用的特征。这个例子里,未标注数据对比已标注数据,是一个完全不同的数据分布(未标注数据集中,或许其中一些图像包含汽车或者摩托车,但不是所有的图像都如此)。这种情形被称为自学习。

    相反,如果有大量的未标注图像数据,要么是汽车图像,要么是摩托车图像,仅仅是缺失了类标号(没有标注每张图片到底是汽车还是摩托车)。也可以用这些未标注数据来学习特征。这种方式,即要求未标注样本和带标注样本服从相同的分布,有时候被称为半监督学习。在实践中,常常无法找到满足这种要求的未标注数据(到哪里找到一个每张图像不是汽车就是摩托车,只是丢失了类标号的图像数据库?)因此,自学习在无标注数据集的特征学习中应用更广。

    2.自我学习的模型

    2.1 数据预处理

    首先对未标记数据和已标记数据进行相同的数据预处理。比如进行相同的归一化。如果对未标记数据进行PCA,那么PCA过程得到的特征向量矩阵U需要保留下来。之后对于已标记数据,应用UTxU^TxUTx 得到降维后的数据。或者,将已标记,未标记两部分数据凑起来,一同进行PCA降维。

    2.2未标记数据训练稀疏自编码器

    不懂稀疏自编码器的同学,可以参考我这篇博客

    首先我们利用未标记数据训练一个自编码器。

    利用训练得到的模型参数$ W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)}$,给定任意的输入数据 xxx,可以计算隐藏单元的激活量(activations)aaa。如前所述,相比原始输入 xxx 来说,aaa 可能是一个更好的特征描述。下图的神经网络描述了特征(激活量 a)的计算。
    在这里插入图片描述

    这实际上就是之前得到的稀疏自编码器,在这里去掉了最后一层。

    2.3 有标记数据特征转换,然后实现监督学习

    假定有大小为$ m_l$ 的已标注训练集
    KaTeX parse error: Expected '}', got 'EOF' at end of input: …, y^{(m_l)}) \}(下标 lll 表示“带类标”),我们可以为输入数据找到更好的特征描述。例如,可以将 xl(1)x_l^{(1)}xl(1) 输入到稀疏自编码器,得到隐藏单元激活量 al(1)a_l^{(1)}al(1)。接下来,可以直接使用 al(1)a_l^{(1)}al(1) 来代替原始数据 $ x_l^{(1)}$ (“替代表示”,Replacement Representation)。也可以合二为一,使用新的向量 (xl(1),al(1))(x_l^{(1)}, a_l^{(1)})(xl(1),al(1)) 来代替原始数据 $ x_l^{(1)}$ (“级联表示”,Concatenation Representation)。

    经过变换后,训练集就变成 KaTeX parse error: Expected '}', got 'EOF' at end of input: …, y^{(m_l)}) \}或者是KaTeX parse error: Expected '}', got 'EOF' at end of input: …, y^{(m_l)}) \}(取决于使用 $a_l^{(1)} $替换 $ x_l^{(1)} $还是将二者合并)。在实践中,将 $a_l^{(1)} $和 $ x_l^{(1)}$ 合并通常表现的更好。但是考虑到内存和计算的成本,也可以使用替换操作。

    最终,可以训练出一个有监督学习算法(例如 svm, logistic regression 等),得到一个判别函数对 y 值进行预测。预测过程如下:给定一个测试样本xtestx_{\rm test}xtest,重复之前的过程,将其送入稀疏自编码器,得到 atesta_{\rm test}atest。然后将 $ a_{\rm test}$ (或者 $ (x_{\rm test}, a_{\rm test}) $)送入分类器中,得到预测值。

    3.补充

    在有标记示例较少时,如何利用大量的未标记示例来改善学习性能已成为当前机器学习研究中最受关注的问题之一。**目前,利用未标记示例的主流学习技术主要有三大类[Zhou06],即半监督学习(semi-supervisedlearning)、直推学习(transductive learning)和主动学习(active learning)。**这三类技术都是试图利用大量的未标记示例来辅助对少量有标记示例的学习,但它们的基本思想却有显著的不同。在半监督学习[ChapelleSZ06][Zhu06]中,学习器试图自行利用未标记示例,即整个学习过程不需人工干预,仅基于学习器自身对未标记示例进行利用。直推学习[Vapnik98][Joachims99]与半监督学习的相似之处是它也是由学习器自行利用未标记示例,但不同的是,直推学习假定未标记示例就是测试例,即学习的目的就是在这些未标记示例上取得最佳泛化能力。换句话说,半监督学习考虑的是一个“开放世界”,即在进行学习时并不知道要预测的示例是什么,而直推学习考虑的则是一个“封闭世界”,在学习时已经知道了需要预测哪些示例。主动学习[SeungOS92][LewisG94][AbeM98]和前面两类技术不同,它假设学习器对环境有一定的控制能力,可以“主动地”向学习器之外的某个“神谕”(oracle) 2 进行查询来获得训练例的标记。因此,在主动学习中,学习器自行挑选出一些未标记示例并通过神谕查询获得这些示例的标记,然后再将这些有标记示例作为训练例来进行常规的监督学习,而其技术难点则在于如何使用尽可能少的查询来获得强泛化能力。对比半监督学习、直推学习和主动学习可以看出,后者在利用未标记示例的过程中需要与外界进行交互,而前两者则完全依靠学习器自身,正因为此,也有一些研究者将直推学习作为一种半监督学习技术来进行研究。(出自周志华教授)

    展开全文
  • Android应用源码自我学习自我监考的管理系统
  • 学习和自我学习

    2012-03-10 07:26:00
    内容摘要 学习是一种态度,也是一个有方法可循的过程,这一讲我分享一些我对于学习和自我学习的认识和理解。希望对大家有帮助 学习是认识世界——求是 学习是认识自己——求真 学习的方法论 提出问题(学什么) 要常...

    内容摘要

    学习是一种态度,也是一个有方法可循的过程,这一讲我分享一些我对于学习和自我学习的认识和理解。希望对大家有帮助

    1. 学习是认识世界——求是
    2. 学习是认识自己——求真

    学习的方法论

    1. 提出问题(学什么)
    2. 要常实践(怎么学)
    3. 要常总结(写下来)
    4. 要有恒心

     

    讲义地址

    http://www.xizhang.com/fmplan/resources/学习和自我学习.pdf

     

    视频地址

    http://www.tudou.com/programs/view/e-ZDCnuc3_w/

    转载于:https://www.cnblogs.com/chenxizhang/archive/2012/03/10/2388593.html

    展开全文
  • 迁移学习&自我学习

    2016-01-03 19:25:14
     监督学习在前一篇博客中讨论过了,这里主要介绍下迁移学习、自我学习。因为监督学习需要大量训练样本为前提,同时对训练样本的要求特别严格,要求训练样本与测试样本来自于同一分布。要是满足不了

    最近在看Ng的深度学习教程,看到self-taught learning的时候,对一些概念感到很陌生。作为还清技术债的一个环节,用半个下午的时间简单搜了下几个名词,以后如果会用到的话再深入去看。

            监督学习在前一篇博客中讨论过了,这里主要介绍下迁移学习、自我学习。因为监督学习需要大量训练样本为前提,同时对训练样本的要求特别严格,要求训练样本与测试样本来自于同一分布。要是满足不了这要求咋办?那您看看下面几种学习方法能不能帮上忙吧。

    •  迁移学习 transfer learning

            有时候困扰大家的一个问题在于训练数据的标定。这将会耗费大量的人力与物力。另外,机器学习假设训练数据与测试数据服从相同的数据分布。然而许多情况下,这种同分布假设并不满足。通常可能发生的情况如训练数据过期,也就是好不容易标定的数据要被丢弃,而另外有一大堆新的数据要重新标定。迁移学习的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。讲白了,就是当前只有少量新的标记的数据,但是有大量旧的已标记的数据(甚至是其他类别的有效数据),这时通过挑选这些旧数据中的有效的数据,加入到当前的训练数据中,训练新的模型。用一句原话则是:

           Transfer learning is what happens when someone finds it much easier to learn to play chess having already learned to play checkers, or to recognize tables having already learned to recognize chairs; or to learn Spanish having already learned Italian。

           迁移学习的代表作是《Boosting for Transfer Learning》有关它的介绍可以看这里,我就不多说啥了,多的我也不懂。

    • 自我学习 self-taught learning 

            自我学习和半监督学习一样,当前手头上只有少量训练样本,但是周围手头上还有大量无标注样本。举一个经典的例子,分离大象和犀牛。对于监督学习来说,我们手头有大量大象的样本和犀牛的样本,接下来训练分类器,进行分类,大家都知道的。对于迁移学习,则是指我们手头上有大量羊的样本和马的样本(已标记),少量的大象和犀牛的样本,接下来就要从羊和马的样本中选出有效的样本分别加入到大象和犀牛的标记样本中,然后再用监督学习的方法训练分类器。而非监督学习,则是手上仅有少量大象和犀牛的已标记样本,另外有一堆大象和犀牛的没有标记的数据(注意它们中要么是大象要么是犀牛,没有其他物种)。半监督学习就是利用这些样本训练分类器,实现分类。而自我学习,同样是手上仅有少量大象和犀牛的已标记样本,另外有一大堆自然图像。所谓自然图像,就是有大象和犀牛的图片,还有各种其他物种的图片。自我学习比半监督学习更适合实际场景-----哪有一堆只有大象和犀牛的图片给你呢?而自然图像的来源更加广泛,可以从互联网上随便下载。

         

           自我学习实现的方法如下图所示。首先通过未标注的自然图像提取一组特征(如稀疏字典,sparse coding,很神奇的一个东西,以后还会再研究)。这样任何一个标注和未标注的图像都可以用这组特征表示出来。由于每一个标注后的样本都被表示成了这些特征------注意这些特征捕捉了图像的高层结构,将表示后的标注的样本训练一个分类器进行分类。

     
    参考资料:
    1.   Boosting for transfer learning
    2.   Self-taught learning: transfer learning from unlabeled data
     
    展开全文
  • 自我学习&&迁移学习

    2014-10-31 10:11:11
     监督学习在前一篇博客中讨论过了,这里主要介绍下迁移学习、自我学习。因为监督学习需要大量训练样本为前提,同时对训练样本的要求特别严格,要求训练样本与测试样本来自于同一分布。要是满足不了
  • UFLDL 教程学习笔记:5.自我学习与无监督特征学习UFLDL 教程学习笔记:5.自我学习与无监督特征学习UFLDL 教程学习笔记:5.自我学习与无监督特征学习
  • 区别自我学习和半监督学习一样,当前手头上只有少量训练样本,但是周围手头上还有大量无标注样本。举一个经典的例子,分离大象和犀牛。 对于监督学习来说,我们手头有大量大象的样本和犀牛的样本,接下来训练分类器...
  • JSP 自我学习笔记2

    千次阅读 2016-11-26 09:28:07
    JSP 自我学习笔记2 一 .学习目标主要学习jsp中的jsp:include,jsp:forward,jsp:param
  • 前端自我学习和常用网站推荐         最近在自我的学习前端的知识,目前自学前端知识已经四个月了,以后准备在前端方向找个合适的工作,最近总结了一些在自我学习中常用到...
  • java自我学习知识体系
  • 自我学习能力能够把RPA一步带入AI领域。原理上,自我学习系统具有按照自己运行过程中的经验改进控制算法的能力,是自适应系统的延伸和发展。虽然各个厂家也宣称其RPA产品具有自我学习能力,但其实谈到的都是RPA的...
  • Jsp自我学习笔记3

    2016-11-26 11:03:45
    Jsp自我学习笔记3 一 . 主要学习内容加强和巩固之前所学的jsp技术,重点学习和掌握servlet技术。提示:本文除实验内容外,大部分内容出自Servlet菜鸟教程。
  • #后台启动 mongod --fork # 启动命令 mongod -f /etc/mongod.conf # 查看服务 ps aux|grep mongo # MongoDB禁止使用kill -9关闭
  • 我在想,怎么让计算机产生自我意识和自我学习的思维能力呢,特别是在工业集群中的应用。 由这个问题,我们先问问人类是怎么自我产生意识的。 人类的自我意识主要是客观或主观环境刺激或引导而产生了自我神经...
  • Stanford UFLDL教程 自我学习

    千次阅读 2015-12-06 11:33:05
    自我学习 Contents [hide] 1 综述2 特征学习3 数据预处理4 无监督特征学习的术语5 中英文对照6 中文译者 综述 如果已经有一个足够强大的机器学习算法,为了获得更好的性能,最靠谱的方法之一是给这个算法...
  • @【自我学习】胶囊网络CapsNet 引言 CNN进行学习时,对图片特征信息较为敏感,而最大池化又会抛弃一些有价值的信息,如位置信息。 就导致了如下图所示,只要CNN学习到了眼睛鼻子嘴的特征信息,就可以抛弃掉其位置...
  • 我不懂,问他,他总是以各种各样的理由拒绝,最后,索性不问了,自己在网上找了免费学习网站来学习。最后技能高过了他,他辞职走了。我记得上学的时候,大多都是听着老师来讲课,也没有什么网上学习课程,近年来,...
  • Android Studio安装方法(自我学习向)

    千次阅读 2021-03-09 22:23:22
    Android Studio安装方法(自我学习向)认识Android Studio从官网下载打开安装包Android Studio配置 认识Android Studio Android Studio 是谷歌推出的一个Android集成开发工具,基于IntelliJ IDEA. 类似 Eclipse ADT...
  • 自我学习到深层网络 在前一节中,我们利用自编码器来学习输入至 softmax 或 logistic 回归分类器的特征。这些特征仅利用未标注数据学习获得。在本节中,我们描述如何利用已标注数据进行微调,从而进一步...
  • Android 五大布局(自我学习向)

    千次阅读 2021-03-09 22:32:58
    Android 五大布局(自我学习向)五大布局LinearLayout(线性布局)RelativeLayout(相对布局)FrameLayout(帧布局)TableLayout(表格布局)AbsoluteLayout(绝对布局) 五大布局 Android的五大布局分别是: ...
  • 这是一篇Allegro16.6的自我学习笔记,主要记述自己做过的操作备忘等。 学习Allegro缘由 本人大四在读学生,疫情在家无所事事。做学校项目大家都喜欢用Altium Designer画电路板,但自己没有用过其他电路板设计软件。...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 26,592
精华内容 10,636
关键字:

自我学习