什么是模型参数？😄
 
模型参数是模型内部的配置变量，其值可以根据数据进行估计。
 
模型在进行预测时需要它们。
它们的值定义了可使用的模型。
他们是从数据估计或获悉的。
它们通常不由编程者手动设置。
他们通常被保存为学习模型的一部分。
 
参数是机器学习算法的关键。它们通常由过去的训练数据中总结得出。
 
在经典的机器学习文献中，我们可以将模型看作假设，将参数视为对特定数据集的量身打造的假设。
 
最优化算法是估计模型参数的有效工具。
 
统计：在统计学中，您可以假设一个变量的分布，如高斯分布。高斯分布的两个参数是平均值（μ）和标准偏差（西格玛）。这适用于机器学习，其中这些参数可以从数据中估算出来并用作预测模型的一部分。
编程：在编程中，您可以将参数传递给函数。在这种情况下，参数是一个函数参数，它可能具有一个值范围之一。在机器学习中，您使用的特定模型是函数，需要参数才能对新数据进行预测。
 
模型是否具有固定或可变数量的参数决定了它是否可以被称为“参数”或“非参数”。
 
模型参数的一些示例包括：
 
神经网络中的权重。
支持向量机中的支持向量。
线性回归或逻辑回归中的系数。
 
什么是模型超参数？😸
 
模型超参数是模型外部的配置，其值无法从数据中估计。
 
它们通常用于帮助估计模型参数。
它们通常由人工指定。
他们通常可以使用启发式设置。
他们经常被调整为给定的预测建模问题。
 
我们虽然无法知道给定问题的模型超参数的最佳值，但是我们可以使用经验法则，在其他问题上使用复制值，或通过反复试验来搜索最佳值。
 
当机器学习算法针对特定问题进行调整时（例如，使用网格搜索或随机搜索时），那么正在调整模型的超参数或顺序以发现导致最熟练的模型的参数预测。
 
“许多模型有不能从数据直接估计的重要参数。例如，在K近邻分类模型中…因为没有可用于计算适当值的分析公式，这种类型的模型参数被称为调整参数。”
 - 第64-65页，《应用预测模型》，2013
 
如果模型超参数被称为模型参数，会造成很多混淆。克服这种困惑的一个经验法则如下：
 
如果必须手动指定模型参数，那么它可能是一个模型超参数。
 
模型超参数的一些例子包括：
 
训练神经网络的学习速率。
用于支持向量机的C和sigma超参数。
K最近邻的K。
 
总之，模型参数是根据数据自动估算的。但模型超参数是手动设置的，并且在过程中用于帮助估计模型参数。
 
模型超参数通常被称为参数，因为它们是必须手动设置和调整的机器学习的一部分。

第一次接触这个概念是在总结LR和SVM之间的区别的时候，LR是参数模型，SVM是非参数模型。
 
今天来总结一下参数模型和非参数模型。
 
一、前言
 
参数模型(parametric model)和非参数模型(non-parametric model)作为数理统计学中的概念，现在也常用于机器学习领域。
 
在统计学中，参数模型通常假设总体(样本、数据、随机变量)服从某个分布，这个分布可以由一些参数确定，如正态分布由均值(0)和方差(1)[此时，标准差也为1]确定，在此基础上构建的模型称为参数模型；
 
非参数模型对于总体的数据分布不做任何假设，或者说数据分布假设自由，只知道其数据分布式存在的，但是不知道数据的分布形式，更不知道分布的相关参数，只有在给定一些样本的条件下，能够依据非参数统计的方法进行推断。
 
所以说，参数模型和非参数模型中的“参数”并不是模型中的参数，而是数据分布的参数。
 
从上述的区别中可以看出，问题中有没有参数，并不是参数模型和非参数模型的区别。其区别主要在于总体的分布形式是否已知。而为何强调“参数”与“非参数”，主要原因在于参数模型的分布可以有参数直接确定。
 
需要注意的是，参数模型它的参数是有限的，可以指定出$w$1，$w$2,…,$w$n;非参数模型也并不是没有参数，而是参数的数目很多或者数目不确定。（注意：所谓“多”的标准，就是参数数目大体和样本规模差不多）
 
机器学习实际上可以总结为学习一个函数，通过输入变量映射为输出变量，由于这个函数的形式未知，所以需要选择合适的方法来拟合这个函数。
 
二、参数模型
 
参数机器学习模型由于指定了目标函数的形式，所以可以极大地简化这个学习的过程，但是同样会限制学习的过程。所以参数机器学习模型包括两个部分：
 
1、选择合适的目标函数的形式。
2、通过训练数据学习目标函数的参数。
 
举个线性回归的例子，线性回归作为常见的参数模型，它通过假设输入变量与输出变量之间具有线性关系，然后就可以设置目标函数为 Y = a X + b ，需要做的就是通过合适的方法如最小二乘法来拟合目标函数的参数。
 
引用《Artificial Intelligence: A Modern Approach》中的话来说明参数模型的特点：
 
通过固定大小的参数集(与训练样本数独立)概况数据的学习模型称为参数模型。不管你给一个参数模型多少数据，对于其需要的参数数量都没有影响。
 
常见的参数机器学习模型有：
 
1、逻辑回归（Logistic Regression）
2、线性回归（Linear Regression）
3、感知机（Perceptron）
 
参数机器学习算法的优点:
 
简洁：理论容易理解、结果容易解释
快速：参数模型学习和训练的速度都很快
数据更少：通常不需要大量的数据，在对数据的拟合不很好时表现也不错
 
参数机器学习算法的(缺点)局限性：
 
拘束：以指定的函数形式来指定学习方式
有限的复杂度：通常只能应对简单的问题
拟合度小：实际中通常无法和潜在的目标函数完全吻合，也就是容易出现欠拟合
 
三、非参数模型
 
非参数机器学习算法对目标函数形式不做过多的假设，因此算法可以通过对训练数据进行拟合而学习出某种形式的函数。
 
引用《Artificial Intelligence: A Modern Approach》中的话来说明非参数模型的特点：
 
当你拥有许多数据而先验知识很少时，非参数学习通常很有用，此时你不需要关注于参数的选取。
 
常见的非参数机器学习模型有：
 
决策树(CART、ID3、C4.5)
SVM
朴素贝叶斯
神经网络
 
非参数机器学习算法的优点有：
 
可变性：可以拟合许多不同的函数形式
模型强大：对于目标函数不做假设或者作出很小的假设
表现良好：对于训练样本数据具有良好的拟合性
 
非参数机器学习算法的(缺点)局限性：
 
需要更多数据：对于拟合目标函数需要更多的训练数据
速度慢：因为需要训练跟多的参数，所以训练过程通常比较慢
过拟合：有较高的风险发生过拟合，对于预测的效果解释性不高
 
四、总结
 
 
通过对比参数模型和非参数模型的特点，可以得知参数模型对训练数据的大小要求不如非参数模型高，因为参数模型通过对拟合函数(目标函数)进行假设，所以只需要对参数进行拟合即可；而非参数模型由于需要从数据中发掘数据之间关系，所以对数据量要求较高。
 
 
通常说到的机器学习的黑盒特性，一般指的就是非参数机器学习模型。因为它不需要做出假设，并且需要拟合很多参数，所以它的解释性就降低了。所以相比而言，参数机器学习模型由于对数据做出了理想的假设，所以得到的模型更加鲁棒，所以解释性也就更高。
 
 
参考
 
https://blog.csdn.net/u014482444/article/details/107663940
 
https://blog.csdn.net/FrankieHello/article/details/94022594
 
https://blog.csdn.net/sinat_27652257/article/details/80543604

 
文章目录
 
引入
基础知识
Parzen窗估计
K近邻估计
K近邻的快速计算
Parzen窗方法的快速计算
总结
  
 

 
引入
 
出发点：我们以前在参数估计中都是先假设样本点的分布有一个概率密度函数形式，比如高斯分布，然后从样本中估计参数。但是，有可能样本点的分布根本不是高斯分布，那么我们的结果就错了。
 
本文提出的非参数法讲究不需要先假设样本服从一个什么分布，而是直接从样本中统计得到，比如频率分布直方图。
 

 这种情况下：我们要记录的是每一组的边界和每一组的数量，然后就能描述我们的样本分布。
 
理论上，如果我们样本足够多，同时将频率分布直方图组距设置得特别小，组特别多，这就是在逼近样本点的真实概率密度函数。
 
一般地，样本足够多的时候其可以表示出任意类型的分布！
 
基础知识
 
既然非参数法这么好，下面开始介绍基础建筑。
 
 这个很好理解，R是指这个一定区域，$p(x^{{}^{\prime }})$是概率密度函数。就有点像二维的情况。
 
 所以上上幅图求的是样本落在R空间的概率。
 我们继续下一个知识点。
 
 该区域等概率密度，那么不就可以算该区域的概率密度了嘛!
 
 而这个由最前面的概念知道，这个是在样本落在空间R中的概率，我们假设R里面有k个样本，整个空间有n个样本，那么样本落在空间R中的概率就是$\frac{k}{n}$。
 从而求得空间R中的概率密度函数为
 

 我们要估计样本的概率密度函数，但是这个V如何选择呢？这就有点像你要画个频率分布直方图，组距选择多大呢?显然，我们都认为：如果样本数无穷多个，那么我们空间V就选小点，这样就可以表示得更加精确。就像下面这样：
 
 因此：
 
 解释：上面的$p(x)$表示的是真实概率密度函数，我们希望可以逼近它。
 上面都是理论，下面探讨细节。
 
 上面的大家好好看一下就行，没懂也没关系，后面会展开介绍。
 
Parzen窗估计
 

 解释：这里拓展到了高维的情况，但是低维也适用。样本空间是d维。
 然后定义了一个窗函数，即在落在窗口内则函数值为1，否则为0。这个窗口在一维是一个关于原点对称的线段，长度为1；在二维是一个关于原点中心对称的正方形，面积为1；在三维是一个关于原点中心对称的正方体，体积为1。
 
 注：上面$h_n$是边长。
 我们现在用上窗函数了，即对于任意一个样本点$x_i$，只要满足向量$x-x_i$的某一个维度$<=h_n/2$，那么值为1（相当于计数器加1），这不正是我们要求的该区域内样本数吗？
 然后代入到之前的公式里。
 
 我们发现，我们上面用的窗函数是一个超立方体内为1，我们希望推广，找到一些其他的窗函数，但要满足
 
 即：
 
 为什么窗函数需要满足积分为1？其实主要是因为概率密度函数积分要为1，所以推得窗函数也要。
 
 
 
除了之前的方窗函数，我们也经常选用如下形式的高斯窗函数。
 
 然后用这个来估计样本概率密度。（我们先假设1维的情况下）
 
 例子：下面展示的是只有一个样本点，我们使用高斯窗函数，选用不同的窗口大小得到的估计结果。
 
 请注意，这里的纵轴没有标刻度，实际上$h=0.1$的时候函数是最高的，但是很窄，方差小。即：
 
 
例子：
 假设有一批样本点，我们选定一个$h_n$，有如下结果。
 
 解释：
 显然，估计的方法是：对每一个样本点的头上套一个窗（红色），然后叠加起来求平均，就是最终的样本概率密度了（蓝色）。（上面展示的图是直接相加，没有求平均，为了好看而已）
 显然上面的窗就是下面这个式子（对比$p_n(x)$的表达式即可）：
 
 注意到，这个式子积分也是为1的！自己可以推一下。
 我们知道：直观上样本数量无穷大的时候，然后我们把窗口设得比较小的时候，可以拟合真实的概率密度函数，下面也有一个理论证明：
 
 
 
 上述求和除以n没有了是因为：
 
 得到上述的积分等式之后，我们有结论：
 
 
我们继续举个分类的例子
 
 使用parzen窗估计做法很简单，就是对每一类拟合一个样本概率密度函数，然后得到分界面如上所示。区别在于，在拟合样本概率密度的时候，选择窗口的大小不同会导致上面的不同，选择小的窗口可以带来过拟合。
 
 改进办法：根据局部密度采用自适应窗口大小。
 
 
K近邻估计
 
如何计算样本概率密度？
 
 个人觉得V也是一个与k有关的数，k越大，V也越大。
 那么如何选择k呢？
 
 例子：
 
 有人难以理解，为什么是这样，我们可以假设k=1，那么变成最近邻，在任意样本点$x_i$上面，其概率密度函数为$p_n(x_i)=\frac{1/n}{0}=\infty$。即k越小越突兀。为什么$V_n$为0？因为对于$x_i$而言，最近的样本点是$x_i$，所以，在一维平面上，有$V_n=x_i-x_i=0$。即$V_n$是指最近的那个样本点到$x$的距离的两倍（在一维中是距离或叫线段长度）。
 一般地，一维中有：
 
 $x_{kNN}$是指离$x$第k个最近的点。
 拓展，在二维中$V_n$是圆的面积，三维中是球体的体积。
 使用KNN来贝叶斯分类：
 
 非常精彩，红色公式中下面是$p(x)$，上面是$p(x,w_i)$联合概率密度。而且，这和我们的投票方法是一样的，$k_i$中谁大就分给谁。
 当然还有使用KNN分类的办法，上面不是唯一的。
 
 原因很简单，因为$n$趋于无穷的时候，$p(x)$估计准确，所以趋近于贝叶斯错误率。
 下面介绍一个特殊情况：最近邻分类。
 
 
K近邻的快速计算
 
先计算部分欧式距离，总共d维，先计算前r维的距离。
 

 假设:我们是快速计算最近邻。
 那么快速计算的方法是：先计算x对第一个样本的全部距离，设为最小值，然后计算与第二个样本的部分距离，一旦超过最小值，后面的部分距离就不用算了。
 再介绍一个思路
 
 即先将样本预处理，将圆形黑色删除，因为删除不会导致误判！
 
还有一些其他的算法，比如人工智能中很多非常重要的搜索算法，这里可能用得上！总之，应该意识到，快速计算非常重要，否则如果100万个点，k近邻很慢。
 
Parzen窗方法的快速计算
 

 
 其中：
 
 这样，预测x的类别的时候就方便了。$b_j$早就算好了，算个$p_n(x)$就行。
 例子：
 
 展开到第2项。
 
 从而提前计算好$b_1,b_2,b_0$即可。
 
总结
 
非参数估计和参数估计有联系但有很大区别，两者都非常重要。前者假定有一个概率密度函数形式，后者可以处理具有任意概率分布形式的数据。
 讨论：非参数估计中，在我们对所有训练样本非参数估计后，按理可以得到一个概率密度函数，一般这个是一个具有非常多参数的函数，我们可以保存起来，然后丢弃所有样本，就像在参数估计一样。但是也要注意到，正文中两个快速计算方法都是基于局部空间临时计算概率密度，即所有样本都还要保留，可见这是另一种做法。

 
# -*- coding: utf-8 -*-
 
"""
 
Created on Sun Jul 21 14:26:22 2019
 
《Python数据分析基础》中国统计出版社
 
@author: User
 
"""
 
#import numpy as np
 
from scipy import stats
 
import pandas as pd
 
#import statsmodels.api as sm
 
#import statsmodels.formula.api as smf
 
#import matplotlib.pyplot as plt
 
#from statsmodels.stats.multicomp import pairwise_tukeyhsd
 
#from statsmodels.graphics.api import interaction_plot
 
#from matplotlib.font_manager import FontProperties
 
#myfont=FontProperties(fname='data\msyh.ttc')
 
sales_district = pd.read_csv(u'data/ch8/sales_district.csv',encoding = "gbk")
 
print(sales_district.head())
 
aa = stats.ranksums(sales_district[sales_district['district']==1]['Sales'],
 
sales_district[sales_district['district']==2]['Sales'])
 
print(aa)
 
运行：
 
district  Sales
 
0         1  87.17
 
1         1  88.45
 
2         1  93.52
 
3         1  96.17
 
4         1  92.68
 
RanksumsResult(statistic=-3.6377197716407874, pvalue=0.0002750624589981112)