2013-08-24 12:55:47 zouxy09 阅读数 45227

机器学习算法中文视频教程

zouxy09@qq.com

http://blog.csdn.net/zouxy09

 

       在网上狂搜ReproducingKernel Hilbert Space的时候,找到了一个好东西。这个是李政軒Cheng-Hsuan Li的关于机器学习一些算法的中文视频教程。感觉讲得很好。这里非常感谢他的分享:http://www.powercam.cc/chli。也贴到这里,和大家共同学习。

 

一、KernelMethod(A Chinese Tutorial on Kernel Method, PCA, KPCA, LDA, GDA, and SVMs)  

AnAutomatic Method to Find the Best Parameter for RBF Kernel Function to SupportVector Machines

1. Kernel Method

2. Principal Component Analysis andKernel Principal Component Analysis

3. Linear Discriminant Analysis andGeneralized Discriminant Analysis

4. Hard-Margin Support Vector Machines(SVMs, SVM)

5. Soft-Margin Support Vector Machines

6. Linear Regression Model andKernel-based Linear Regression Model

7. Reproducing Kernel Hilbert Space:Definitions

8. Reproducing Kernel Hilbert Space:Theorems and Proofs

 

二、Clustering

1. Fuzzy C-Means 基本概念(第1部分)

2. Fuzzy C-Means 基本概念(第2部分)

3. Fuzzy C-Means 基本概念(第3部分)

4. Fuzzy C-Means 迭代公式推導

 

三、Regression

1. Linear Regression Models-1

2. Linear Regression Models-2

 

2015-06-04 08:18:13 lujiandong1 阅读数 4863

课程链接:http://www.powercam.cc/slide/6552。

Kernel Method 的基本思想:

                        
Kernel的基本思想是,将低维空间不可分数据映射到高纬度的空间,比如说左图的数据是线性不可分的,分界线是:

将数据映射到三维空间,就可以得到线性的分类面,

总结:在低维空间线性不可分,映射到高纬空间,线性可分的概率会增大,比如说,数据在一维空间线性可分的难度比二维空间线性可分的难度大,二维空间线性可分的难度比在三维空间线性可分的难度大。以此类推。

Kernal的另一个关键点事Kernal Function:

                         
2维空间映射到3维空间的结果是:
,在映射后的空间的内积为:
。也就是说,我们的内核函数K(),计算的是新空间的数据点之间的相似度。
内核方法总结:1、将数据从第维映射到更高维。2,映射到高维后,数据可以线性可分。3、kernel function可以计算高纬度空间的几何性质,角度,距离,并不需要得到映射函数.
现在推导,可以利用kernel function计算高纬度空间的距离,角度。
                               
总结:在高维空间中要计算数据向量之间的角度,距离,只需要知道kernel function即可,并不需要知道.

        现在引出内积矩阵,也叫做Gram Matrix ,Kernel Matrix。Kernel Matrix其实就是把所有的样本点映射到高维空间,然后在高维空间中计算内积,形成内积矩阵。内积矩阵的计算,也只需要,kernel function,不需要映射函数
                                                           

现在,举个小例子,讲解kernel function 的使用。
                                  

在地位空间中的数据点:,映射到高纬空间得到,图中坐标系画的是在高维空间中的数据分布,显而易见,在高维的空间中,数据已经是线性可分了,那么如何找到分类平面和相应的决策函数呢。

                                                       
其中,,是正类别(标签值为+1的数据的中心点)是负类别(标签值为-1的数据的中心点)
。那么中间那条虚线就是对应于我们的分类平面,虚线和红线的交点坐标为,
那样就可以得到决策函数如下:
                                  
                                  

所有,要判断在高维的空间中,未知的点对应的表是啥,关键是计算出。那么如何用核函数计算出y呢? 推导如下:
                                  
其中,b也是可以用kernel function函数解决的,所以,只要我们知道kernel function 我们是可以用k来计算出y的。

        现在进行总结:对于kernel function 映射函数是不一定需要的,只要有kernel function即可,但是不是随便定义一个kernel function 就可以找到相应的映射,其kernel matrix 是半正定矩阵。
                         


现证明k(x,z)=<x,z>对应的kernel function是正半定矩阵。
                           

Dual Representation:
在读关于核映射的paper时,我们经常看到如下式子:
                                                                                

如果是预测问题,那么f(x)就是预测值,如果是分类问题,那么f(x)就是对应的类别。举个例子,对于刚才我们的分类问题,
                                                       

        可以看出,W是的线性组合,所以,判决平面完全由训练样本所控制的。在统计上面有个定理,因为我们所掌握的只是训练数据,所以,我们计算处理的判决平面,投影方向等等,都是由训练样本所决定的。

                                                                

                                                  


2018-03-01 21:12:10 qq_27009517 阅读数 339

转自: http://blog.csdn.net/songzitea/article/details/24854507

本节是李政軒Cheng-Hsuan Li的关于机器学习一些算法的中文视频教程。讲得很好不错,这里非常感谢他的分享:http://www.powercam.cc/chli。也贴到这里,和大家共同学习。

Clustering  

  1. Fuzzy C-Means 基本概念(第1部分)  
  2. Fuzzy C-Means 基本概念(第2部分)
  3. Fuzzy C-Means 基本概念(第3部分)
  4. Fuzzy C-Means 迭代公式推導    

Regression 

  1. Linear Regression Models-1 
  2. Linear Regression Models-2

KernelMethod(A Chinese Tutorial on Kernel Method, PCA, KPCA, LDA, GDA, and SVMs) 

  1. AnAutomatic Method to Find the Best Parameter for RBF Kernel Function to SupportVector Machines
  2. Kernel Method 本單元介紹kernel method的基本概念與計算特徵空間中的距離與角度的方法,並提供一個簡單的例子來讓您初步探索kernel method的奧妙。在本單元的後面,點出了kernel method背後的幾個重要
  3. Principal Component Analysis and Kernel Principal Component Analysis本單元利用幾何與單變數統計的概念來介紹主成分分析(Principal Component Analysis, PCA),並介紹如何將kernel method引入主成分分析,即 Kernel Principal Component.
  4. Linear Discriminant Analysis and Generalized Discriminant Analysis  本單元利用幾何的概念來介紹線性區別分析(Linear Discriminant Analysis )於特徵萃取(feature extraction)上的應用,並介紹如何將kernel method結合線性區別分析的...
  5. Hard-Margin Support Vector Machines(SVMs, SVM)  本單元詳細介紹Hard-Margin Support Vector Machines (Hard-Margin Support Vector Machine, SVMs, SVM, 支撐向量機)的基本概念與做法。
  6. Soft-Margin Support Vector Machines  本單元點出了Hard-Margin Support Vector Machines (Soft-Margin Support Vector Machine, SVMs, SVM, 支撐向量機)會遇到的問題,並介紹了SVM....
  7. Linear Regression Model andKernel-based Linear Regression Model  本單元利用介紹線性迴規模型(Linear Regression Model),並介紹如何將kernel method引入線性迴規模型,即Kernel-based Linear Regression Model。
  8. Reproducing Kernel Hilbert Space:Definitions  本單元中利用大量的例子與圖形來介紹下面兩大主題:1. 給定kernel function後,如何創造出其相對應的feature mapping與feature space。2. 給定feature mapping...
  9. Reproducing Kernel Hilbert Space:Theorems and Proofs 本單元中利用大量的例子與圖形來介紹下面兩大主題:1. 給定kernel function後,如何創造出其相對應的feature mapping與feature space。2. 給定feature mapping

其他

  1. 如何使用Word 2010來製作符合APA格式的文獻(1/3)
  2. 如何使用Word 2010來製作符合APA格式的文獻(2/3)
  3. 如何使用Word 2010來製作符合APA格式的文獻(3/3)


关于Meachine Learning&Pattern Recognition更多讨论与交流,敬请关注本博客和新浪微博songzi_tea.


2015-10-22 20:25:47 ljp812184246 阅读数 3788

课程链接:http://www.powercam.cc/slide/6552

Kernel Method 的基本思想:

                        
Kernel的基本思想是,将低维空间不可分数据映射到高纬度的空间,比如说左图的数据是线性不可分的,分界线是:

将数据映射到三维空间,就可以得到线性的分类面,

总结:在低维空间线性不可分,映射到高纬空间,线性可分的概率会增大,比如说,数据在一维空间线性可分的难度比二维空间线性可分的难度大,二维空间线性可分的难度比在三维空间线性可分的难度大。以此类推。

Kernal的另一个关键点事Kernal Function:

                         
2维空间映射到3维空间的结果是:
,在映射后的空间的内积为:

也就是说,我们的内核函数K(),计算的是新空间的数据点之间的相似度。
内核方法总结:1、将数据从低维映射到更高维。2,映射到高维后,数据可以线性可分。3、kernel function可以计算高纬度空间的几何性质,角度,距离,并不需要得到映射函数.

现在推导,可以利用kernel function计算高纬度空间的距离,角度。
                               
总结:在高维空间中要计算数据向量之间的角度,距离,只需要知道kernel function即可,并不需要知道.

        现在引出内积矩阵,也叫做Gram Matrix ,Kernel Matrix。Kernel Matrix其实就是把所有的样本点映射到高维空间,然后在高维空间中计算内积,形成内积矩阵。内积矩阵的计算,也只需要,kernel function,不需要映射函数
                                                           

现在,举个小例子,讲解kernel function 的使用。
                                  

在地位空间中的数据点:,映射到高纬空间得到,图中坐标系画的是在高维空间中的数据分布,显而易见,在高维的空间中,数据已经是线性可分了,那么如何找到分类平面和相应的决策函数呢。

                                                       
其中,,是正类别(标签值为+1的数据的中心点)是负类别(标签值为-1的数据的中心点)
。那么中间那条虚线就是对应于我们的分类平面,虚线和红线的交点坐标为,
那样就可以得到决策函数如下:
                                  
                                 

所有,要判断在高维的空间中,未知的点对应的表是啥,关键是计算出。那么如何用核函数计算出y呢? 推导如下:
                                 
其中,b也是可以用kernel function函数解决的,所以,只要我们知道kernel function 我们是可以用k来计算出y的。

        现在进行总结:对于kernel function 映射函数是不一定需要的,只要有kernel function即可,但是不是随便定义一个kernel function 就可以找到相应的映射,其kernel matrix 是半正定矩阵。
                         


现证明k(x,z)=<x,z>对应的kernel function是正半定矩阵。
                           






上图中,不同的r值代表mapping到不同的空间

Dual Representation:
在读关于核映射的paper时,我们经常看到如下式子:
                                                                                

如果是预测问题,那么f(x)就是预测值,如果是分类问题,那么f(x)就是对应的类别。举个例子,对于刚才我们的分类问题,
                                                      

        可以看出,W是的线性组合,所以,判决平面完全由训练样本所控制的。在统计上面有个定理,因为我们所掌握的只是训练数据,所以,我们计算处理的判决平面,投影方向等等,都是由训练样本所决定的。





                                                               

                                                 



2014-05-02 01:14:16 utimes 阅读数 4754

本节是李政軒Cheng-Hsuan Li的关于机器学习一些算法的中文视频教程。讲得很好不错,这里非常感谢他的分享:http://www.powercam.cc/chli。也贴到这里,和大家共同学习。

Clustering 

  1. Fuzzy C-Means 基本概念(第1部分)  
  2. Fuzzy C-Means 基本概念(第2部分)
  3. Fuzzy C-Means 基本概念(第3部分)
  4. Fuzzy C-Means 迭代公式推導    

Regression 

  1. Linear Regression Models-1
  2. Linear Regression Models-2

KernelMethod(A Chinese Tutorial on Kernel Method, PCA, KPCA, LDA, GDA, and SVMs) 

  1. AnAutomatic Method to Find the Best Parameter for RBF Kernel Function to SupportVector Machines
  2. Kernel Method 本單元介紹kernel method的基本概念與計算特徵空間中的距離與角度的方法,並提供一個簡單的例子來讓您初步探索kernel method的奧妙。在本單元的後面,點出了kernel method背後的幾個重要
  3. Principal Component Analysis and Kernel Principal Component Analysis本單元利用幾何與單變數統計的概念來介紹主成分分析(Principal Component Analysis, PCA),並介紹如何將kernel method引入主成分分析,即 Kernel Principal Component.
  4. Linear Discriminant Analysis and Generalized Discriminant Analysis  本單元利用幾何的概念來介紹線性區別分析(Linear Discriminant Analysis )於特徵萃取(feature extraction)上的應用,並介紹如何將kernel method結合線性區別分析的...
  5. Hard-Margin Support Vector Machines(SVMs, SVM)  本單元詳細介紹Hard-Margin Support Vector Machines (Hard-Margin Support Vector Machine, SVMs, SVM, 支撐向量機)的基本概念與做法。
  6. Soft-Margin Support Vector Machines  本單元點出了Hard-Margin Support Vector Machines (Soft-Margin Support Vector Machine, SVMs, SVM, 支撐向量機)會遇到的問題,並介紹了SVM....
  7. Linear Regression Model andKernel-based Linear Regression Model  本單元利用介紹線性迴規模型(Linear Regression Model),並介紹如何將kernel method引入線性迴規模型,即Kernel-based Linear Regression Model。
  8. Reproducing Kernel Hilbert Space:Definitions  本單元中利用大量的例子與圖形來介紹下面兩大主題:1. 給定kernel function後,如何創造出其相對應的feature mapping與feature space。2. 給定feature mapping...
  9. Reproducing Kernel Hilbert Space:Theorems and Proofs 本單元中利用大量的例子與圖形來介紹下面兩大主題:1. 給定kernel function後,如何創造出其相對應的feature mapping與feature space。2. 給定feature mapping

其他

  1. 如何使用Word 2010來製作符合APA格式的文獻(1/3)
  2. 如何使用Word 2010來製作符合APA格式的文獻(2/3)
  3. 如何使用Word 2010來製作符合APA格式的文獻(3/3)


关于Meachine Learning&Pattern Recognition更多讨论与交流,敬请关注本博客和新浪微博songzi_tea.


没有更多推荐了,返回首页