精华内容
下载资源
问答
  • 机器学习西瓜书的解析,侵删。机器学习是⽬前信息技术中最激动⼈⼼的⽅向之⼀,其应⽤已经深⼊到⽣活的各个层⾯且与普通⼈的⽇常⽣活密切相关。本⽂为 清华⼤学最新出版的《机器学习》教材的Learning Notes,书作者...
  • 今天开始学习机器学习西瓜书了,mark一下:2019年12月4日 西瓜书学习:决策树(4.1-4.2)笔记,2019年12月9日 西瓜书学习笔记:支持向量机(6.1-6.2)笔记 西瓜书学习:特征降维(10.1-10.3) ...

    今天开始学习机器学习西瓜书了,mark一下:2019年12月4日

    西瓜书学习:决策树(4.1-4.2)笔记,2019年12月9日

    西瓜书学习笔记:支持向量机(6.1-6.2)笔记

    西瓜书学习:特征降维(10.1-10.3)

     

     

    展开全文
  • 机器学习西瓜书 第二章 第三章 第四章

    机器学习西瓜书

    第二章

    在这里插入图片描述

    第三章

    在这里插入图片描述

    第四章

    在这里插入图片描述

    展开全文
  • 这是我学习机器学习西瓜书的思维导图笔记,这个只是绪论的思维导图,思维导图更加明了,但博客上看不到所以我就上传成资源了
  • 机器学习西瓜书】第三章 线性模型 文章目录【机器学习西瓜书】第三章 线性模型3.1 基本形式3.2 线性回归3.3 对数几率回归3.4 线性判别分析3.5 多分类学习3.6 类别不平衡问题 3.1 基本形式 给定由 d 个属性描述的...

    【机器学习西瓜书】第三章 线性模型

    3.1 基本形式

    给定由 d 个属性描述的示例 x = (x1;x2;…;xd) ,其中 xi 是 x 在第 i 个属性上的取值,线性模型试图学得一个通过属性的线性组合来进行预测的函数,即
    f(x)=w1x1+w2x2+...+wdxd+b f(x)=w_{1}x_{1}+w_{2}x_{2}+...+w_{d}x_{d}+b
    一般用向量形式写成
    f(x)=wTx+b f(x)=w^{T}x+b
    非线性模型(nonlinear model)可在线性模型的基础上通过引入层级结构或高维映射而得。由于 w 直观表达了个属性在预测中的重要性,因此线性模型有很好的可解释性。

    3.2 线性回归

    给定数据集
    D=(x1,y1),(x2,y2),...,(xm,ym) D={(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{m},y_{m})}

    xi=(xi1;xi2;...;xid;) x_{i}=(x_{i1};x_{i2};...;x_{id};)

    yiR y_{i}\in \mathbb{R}

    线性回归识途学得一个线性模型来尽可能的准确预测实值输出标记。

    对离散属性,若属性之间存在“序”的关系,可通过连续化将其转化为连续值。例如“高”和“矮”可以转化为{1.0,0.0},“高”、“中”、“低“可以转化为{1.0,0.5,0.0}。若属性之间不错在序关系,假定有 k 个属性值,则通常转化为 k 维向量。例如”西瓜“、”黄瓜“、”南瓜“可以转化为(0,0,1),(0,1,0),(1,0,0)。

    线性回归试图学得
    f(xi)=wxi+b f(x_{i})=wx_{i}+b
    使得
    f(xi)yi f(x_{i})\simeq y_{i}
    均方误差最小化:可以求得 w 和 b,对应了”欧氏距离“,基于均方误差最小化来进行求解的方法称为”最小二乘法“——试图找到一条直线,使得所有样本到直线的欧氏距离之和最小。
    w=i=1myi(xixˉ)i=1mxi21m(i=1mxi)2 w=\frac{\sum_{i=1}^{m}y_{i}(x_{i}-\bar{x})}{\sum_{i=1}^{m}x_{i}^{2}-\frac{1}{m}(\sum_{i=1}^{m}x_{i})^{2}}

    b=1mi=1m(yiwxi) b=\frac{1}{m}\sum_{i=1}^{m}(y_{i}-wx_{i})

    对数线性回归:
    lny=wTx+b lny=w^{T}x+b
    广义线性模型:
    y=g1(wTx+b) y=g^{-1}(w^{T}x+b)

    3.3 对数几率回归

    对于二分类任务,最理想的是”单位阶跃函数“,但是其不连续,不能直接用于上文中的 g-(.),所以一般使用对数几率函数:
    y=11+ez y=\frac{1}{1+e^{-z}}
    将其作为 g-(.) 代入得:
    y=11+e(wTx+b) y=\frac{1}{1+e^{-(w^{T}x+b)}}
    即:

    lny1y=wTx+b ln\frac{y}{1-y}=w^{T}x+b
    其对应的模型称为”对数几率回归“,是一种分类学习方法。这种方法有很多优点:

    • 直接对分类可能性进行建模,无需事先假设数据分布,避免了假设分布不准确带来的问题
    • 不是仅预测出类别,而是可得到近似概率预测,这对许多需要利用概率辅助决策的任务很有用
    • 对率函数是任意阶可导的凸函数,有很好的数学性质,现有的许多数值优化算法都能直接用于求最优解

    3.4 线性判别分析

    线性判别分析(LDA),亦称 Fisher判别分析。

    LDA 的思想:给定训练样例集,设法将样例投影到一条直线上,使得同类样例的投影点尽可能近,异类样例的投影点尽可能远;对新样本进行分类时,将其投影到这条线上,再根据投影点的位置来确定类别。

    类内散度矩阵:
    Sw=xX0(xμ0)(xμ0)T+xX1(xμ1)(xμ1)T S_{w}=\sum_{x\in X_{0}}^{}(x-\mu _{0})(x-\mu _{0})^{T}+\sum_{x\in X_{1}}^{}(x-\mu _{1})(x-\mu _{1})^{T}
    类间散度矩阵:
    Sb=(μ0μ1)(μ0μ1)T S_{b}=(\mu _{0}-\mu _{1})(\mu _{0}-\mu _{1})^{T}
    欲最大化的目标:
    J=wTSbwwTSww J=\frac{w^{T}S_{b}w}{w^{T}S_{w}w}
    即 Sb 与 Sw 的”广义瑞利商“。

    3.5 多分类学习

    基本思路:”拆解法“,将多分类任务拆解为若干个二分类任务求解。

    经典拆分策略:

    • 一对一(OvO)
      • 将 N 个类别两两配对,从而产生 N(N-1)/2 个分类任务,最终结果可通过投票产生,把被预测的最多的作为分类结果。
    • 一对其余(OvR)
      • 每次将一个类作为正例,其他所有类作为反例来训练 N 个分类器。在测试时,若只有一个分类器预测为正类,则作为最终分类结果。若有多个分类器预测为正类,则通常考虑各分类器的预置置信度。
    • 多对多(MvM)
      • 每次将若干个类作为正类,若干个其他类作为反类。正反类的构造必须有特殊的设计,通常使用”纠错输出码“。
      • 纠错输出码(ECOC),将编码的思想引入类别拆分,并尽可能在解码过程中具有容错性。其工作过程分为两步:
        • 编码:对 N 个类别做 M 次划分,形成 M 个二分类训练集,训练出 M 个分类器。
        • 解码:M 个分类器分别对测试样本进行预测,这些预测标记组成一个编码,将这个预测编码与每个类各自的编码相比较,返回其中距离最小的类别作为最终结果。
        • 类别划分通过编码矩阵指定,常见的有二元码和三元码。前者将每个类别分别指定为正类和反类;后者在正反类之外,还可以指定“停用类”。
        • 任意两个类别之间的编码距离越短,则纠错能力越强。

    3.6 类别不平衡问题

    类别不平衡,指分类任务中不同类别的训练样例数目差别很大的情况。

    再缩放策略:只要分类器的预测几率,高于观测几率,就应判断为正例,即
    y1y>m+m \frac{y}{1-y}>\frac{m^{+}}{m^{-}}
    则预测为正例。

    常用三种做法:

    • 欠采样:去除一些反例,使得正反例数目接近。
    • 过采样:增加一些正例,使得正反例数目接近。
      于观测几率,就应判断为正例,即
      y1y>m+m \frac{y}{1-y}>\frac{m^{+}}{m^{-}}
      则预测为正例。

    常用三种做法:

    • 欠采样:去除一些反例,使得正反例数目接近。
    • 过采样:增加一些正例,使得正反例数目接近。
    • 阈值移动:上文再缩放策略。
    展开全文
  • 机器学习解决问题 通过计算的手段,能利用经验改善系统的性能。通过对数据跑学习算法,得到模型,从而进行预测。 机器学习概念 以西瓜为例,数据集是100个西瓜,样本是1个西瓜,属性是西瓜甜度。特征向量是西瓜的...

    机器学习解决问题

    通过计算的手段,能利用经验改善系统的性能。通过对数据跑学习算法,得到模型,从而进行预测。

    机器学习概念

    以西瓜为例,数据集是100个西瓜,样本是10个西瓜,属性是西瓜甜度。特征向量是西瓜的颜色、大小等,有几个特征向量就有几维空间。模型分为有监督学习和无监督学习,有监督代表对问题答案比较了解。有监督学习模型分为二分类算法和多分类算法,比如西瓜该不该摘,瓜熟没熟,是二分类算法,多分类算法,要买哪种西瓜(大于两种)。进行预测需要测试样本和泛化能力。
    假设空间指的是用科学推理的能力(演绎是从一般到特殊,归纳是从特殊到一般)。
    归纳偏好指的是同一个数据集出现了两种模型,如何选择模型。

    模型选择与评估

    预测错误个数是a,样本数量是m,错误率E就是a/m。为什么要有测试集,因为我们在训练集的数据上训练,怎么验证预测的结果准确,就需要通过测试集的数据来验证。怎么剥离出测试集的数据?简单可以通过三七分来留出全部数据的一部分作为测试集,同时要注意测试集和训练集在同个分布下。k折交叉验证指的是平均切分数据集,按切分数进行分组,每组用不同测试集,最后对结果求平均。
    训练集进行训练,验证集看结果进行调参,测试集看最后的结果。

    展开全文
  • 机器学习西瓜书笔记

    千次阅读 2021-01-18 13:53:29
    机器学习与算法 学习机器学习,走进数据分析的第一步 第一章(基本概念) 基本术语 术语 含义 记录 一对括号内的数据 数据集 一组数据 示例、样本、特征向量 记录中的描述值 样例 拥有标记的示例 ...
  • 标题机器学习西瓜书笔记——绪论 1.1引言 什么是机器学习? 人是通过经验学习; 而机器学习的主要内容是在计算机上从数据中产生“模型”(model) 的算法,模型的作用是更好的预测、判断未发生的样例。 1.2基本术语 ...
  • 来自自己学习 B站Up主:"致敬大神"的【一起啃书】机器学习西瓜书白话解读 视频,内容来自Up主视频中讲解内容思维导图,再加上自己的听课笔记而来,因为仍在学习中,后面会继续丰富内容。 ...
  • 通常,我们可以通过实验测试来对学习器的泛化误差进行评估并进而做出选择 留出法 “留出法”直接将数据集DDD划分为两个互斥的集合,其中一个集合作为训练集SSS,另一个作为测试集TTT,即D=S∪TD=S\cup TD=S∪T,S∩T...
  • 第一章绪论自己用的内容摘要+简单的标注 如果有任何内容错误,一起讨论学习
  • 本文为周志华机器学习西瓜书第三章课后习题3.5答案,编程实现线性判别分析LDA,数据集为书本第89页的数据 首先介绍LDA算法流程: LDA的一个手工计算数学实例: 课后习题的代码: # coding...
  • 机器学习西瓜书——特征选择与稀疏表示子集搜索与评价过滤式包裹式嵌入式选择和L1正则化稀疏表示与字典学习压缩感知 子集搜索与评价 相关特征和无关特征,冗余特征。进行特征选择是一种数据预处理(data ...
  • 1 绪论1.1 机器学习的定义正如我们根据过去的经验来判断明天的天气,吃货们希望从购买经验中挑选一个好瓜,那能不能让计算机帮助人类来实现这个呢?机器学习正是这样的一门学科,人的“经验”对应计算机中的“数据”...
  • 上篇主要介绍了鼎鼎大名的EM算法,从算法思想到数学公式推导(边际似然引入隐变量,Jensen不等式简化求导),...9、集成学习顾名思义,集成学习(ensemble learning)指的是将多个学习器进行有效地结合,组建一个“学习...
  • 上篇主要介绍了一种机器学习的通用框架--集成学习方法,首先从准确性和差异性两个重要概念引出集成学习“好而不同”的四字真言,接着介绍了现阶段主流的三种集成学习方法:AdaBoost、Bagging及Random Forest,...
  • 本文为周志华机器学习西瓜书第三章课后习题3.3答案,编程实现对率回归,数据集为书本第89页的数据 使用tensorflow实现过程 # coding=utf-8 import tensorflow as tf from numpy import * import numpy as np ...
  • 机器学习西瓜书——基尼指数

    千次阅读 2020-02-13 13:53:43
    CART决策树使用“基尼指数”(Gini index)来选择划分属性。书上并没有写出具体的例子供参考,这里给出一个例子。 首先先列出求取基尼指数所需要用的公式。 数据集D的纯度可用基尼值来度量。Gini(D)越小,则数据集D...
  • 关于集成学习,目前还没有学完,梯度上升树的算法只看了一点,直方图那些连看都没有看,但是拖的已经够久了,近期的时间用来整理自然语言处理的论文了,暂时也没有精力去深入学习其他集成学习方法,先把已经涉及过的...
  • 归纳与演绎是科学推理的两大基本手段 ...而“从样例中学习”显然是一个归纳过程,因此亦称“归纳学习”。 归纳学习: 广义:从样例中学习 狭义:从训练数据中学得概念(称为概念学习或概念形...
  • 最近闲下来了,打算系统性的来学习一下机器学习的相关理论。然后买来周志华老师的机器学习书,将自己学习过程记录下来。 我们常常需要对自己使用的模型的泛化能力进行测试,这里就涉及到使用怎样的数据集进行测试...
  • 科学推理的两大基本手段 归纳(inductioninductioninduction):特殊到一般的...归纳学习: 广义:从样例中学习 狭义:从训练数据中学得概念(conceptconceptconcept),“概念学习”,“概念形成” 布尔概念学习:...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,000
精华内容 800
关键字:

机器学习西瓜书