转自：http://blog.csdn.net/u013395544/article/details/53170207
 

 
 
 
 参数学习方法：
 
   假设了一个在整个输入空间上有效的模型，将问题归结为在样本上估计少量参数，(如:线性模型估计w，高斯分布估计mu和sigma).参数学习方法假定了一个模型，当模型假定不成立，或者样本不是一个分组，可能导致很大的误差。(如:语音识别，由于不同口音、性别、年龄、发音等，没有单个同样的模型).
 
 半参数方法：
 
   为样本每个分组假定一个参数模型，(如:使用混合分布估计输入样本).
 

 
 非参数方法：
 
   只假定相似输入具有相似输出(如:k近邻)，非参数方法使用合适的聚类度量相似性，对于输入样本，从训练集中找出它们的相似示例(输入样本的邻域)，并由相似的实例插值得到正确的输入。参数模型定义了一个全局模型，所以训练样本都影响最终估计，而非参数方法不存在全局模型，需要时估计局部模型(如:局部加权线性回归),它们只受邻近训练样本影响,是局部响应.因此非参数模型不是固定的，复杂性依赖训练集大小，非参数学习方法又称基于实例或基于记忆的方法，输入样本搜索训练集中相似样本，并基于相似子集插值。
 

参数学习方法：在训练完成所有数据后得到一系列训练参数，然后根据训练参数来预测新样本的值，这时不再依赖之前的训练数据了，参数值是确定的。
 
而非参数学习方法是：在预测新样本值时候每次都会重新训练数据得到新的参数值，也就是说每次预测新样本都会依赖训练数据集合，所以每次得到的参数值是不确定的。例如局部加权回归（LWR）就是非参数学习方法。
 
reference：https://blog.csdn.net/qq_30091945/article/details/62896771

https://blog.csdn.net/u013395544/article/details/53170207
 http://bbs.pinggu.org/forum.php?mod=viewthread&tid=2163476&page=1
 
参数方法，假定概率分布，只来估计少量参数。
 
半参数方法，对数据分组，每组采用一种概率分布的假设，最后使用混合概率分布。
 
非参数方法，不需要知道数据的概率分布，只需要假设：相似的输入具有相似的输出。因为我们一般都认为世界的变化时平稳、量变到质变的，因此无论是密度、判别式还是回归函数都应当缓慢地变化。在这样的非参数估计（non-paramitric estimation）中，局部实例对于密度的影响就显得颇为重要，而较远的实例影响则较小。
 
参数回归是我们最长用的模型。与参数回归相对的非参数回归，这种模型对变量分布等假定并不是很严等，因此可以说扩展了参数回归的应用范围。但是非参数回归的局限性在于，在存在较多的解释变量时，很容易出现所谓的“维度灾难”，像方差的急剧增大等现象。
 
这类模型包括实例回归，局部加权回归（LOESS）和样条回归。非参数方法一般适用于低维空间（较少的解释变量）。该局部加权回归曲线是利用点附近的点信息，使用的点信息越多，曲线与拟合直线越接近；使用的点信息越少，与散点越吻合。在变量间非线性关联较强的情况下，相比普通回归，通常更稳健一些。
 
介于参数回归与非参回归之间的就是半参数模型，这种模型结合了前面两种参数模型的诸多优点，例如使用的连接函数、分析形式多样化，而且光滑参数值的确认均可以使用广义交叉验证技术。其应用情景首先是因变量在不符合正态分布时，该模型的结果仍然很稳定，我们可以选择不同的分布形式等。非参数模型的另一个典型应用是可以对具有截尾数据的资料进行生存预测。例如，普通生存分析，并没有很好的解决多解释变量的情况，并且对分布有特定的需求，而且当相关假定违反时，往往会对模型产生很大的影响，半参数生存分析回归模型克服了上述参数法的诸多局限，可以灵活地处理许多未知分布与不服从参数分布类型的资料。
 
另外，一个比较容易混淆的是广义可加模型（使用连接函数的可加模型），与广义线性模型很相似，主要使用非参估计的方法。
 

介绍
 
在我们的以前文章中介绍过统计学习中预测和推理之间的区别。尽管这两种方法的主要区别在于最终目标，但我们都需要估计一个未知函数f。
 
换句话说，我们需要学习一个将输入(即自变量X的集合)映射到输出(即目标变量Y)的函数，如下图所示。
 
 
 
Y = f(X) + ε
 
 
为了估计未知函数，我们需要在数据上拟合一个模型。我们试图估计的函数的形式通常是未知的，因此我们可能不得不应用不同的模型来得到它，或者对函数f的形式做出一些假设。一般来说，这个过程可以是参数化的，也可以是非参数化的。
 
在今天的文章中，我们将讨论机器学习背景下的参数和非参数方法。此外，我们将探讨它们的主要差异以及它们的主要优点和缺点。
 
参数化方法
 
在参数化方法中，我们通常对函数f的形式做一个假设。例如，你可以假设未知函数f是线性的。换句话说，我们假设函数是这样的。
 
f(X) = β₀ + β₁ X₁ + … + βₚ Xₚ
 
其中f(X)为待估计的未知函数，β为待学习的系数，p为自变量个数，X为相应的输入。
 
既然我们已经对要估计的函数的形式做出了假设，并选择了符合这个假设的模型，那么我们需要一个学习过程，这个学习过程最终将帮助我们训练模型并估计系数。
 
机器学习中的参数化方法通常采用基于模型的方法，我们对要估计的函数的形式做出假设，然后根据这个假设选择合适的模型来估计参数集。
 
参数化方法最大的缺点是，我们所做的假设可能并不总是正确的。例如，你可以假设函数的形式是线性的，但实际上它并不是。因此这些方法涉及较不灵活的算法，通常用于解决一些不复杂的问题。
 
参数化方法速度非常快，而且它们需要的数据也少得多(更多相关内容将在下一节中介绍)。此外，由于参数化方法虽然不太灵活但是因为基于我们做出的假设，所以它们更容易解释。
 
机器学习中的参数化方法包括线性判别分析、朴素贝叶斯和感知器。
 
非参数方法
 
一般来说非参数方法指的是对于要估计的函数的形式不做任何潜在的假设的一组算法。由于没有做任何假设，这种方法可以估计未知函数f的任何形式。
 
非参数方法往往更精确，因为它们寻求最佳拟合数据点。但是这是以需要进行大量的观测为代价的（这些观测是精确估计未知函数f所必需的）。并且这些方法在训练模型时往往效率较低。另外的一个问题是，非参数方法有时可能会引入过拟合，因为由于这些算法更灵活，它们有时可能会以无法很好地泛化到新的、看不见的数据点的方式学习错误和噪声。
 
非参数方法非常灵活，因为没有对底层函数做出任何假设，所以可以带来更好的模型性能。
 
机器学习中一些非参数方法的例子包括支持向量机和kNN。
 
总结
 
在今天的文章中，我们讨论了机器学习背景下的参数化和非参数化方法以及它们的优点和缺点。
 
参数方法往往不太灵活和准确，但更具可解释性，而非参数方法往往更灵活（因此适用于更复杂的问题）和准确但可解释性较差。
 
尽管参数方法不太灵活并且有时不太准确，但它们在许多用例中仍然有用，因为在更简单的问题中使用非常灵活的非参数方法可能会导致过度拟合。
 
作者：Giorgos Myrianthous