-
2019-08-10 22:07:21
终于找到一篇全面而又简洁的讲多元线性回归模型检验方法的文章
PDF下载地址
链接:https://pan.baidu.com/s/1UbyZcMC1VRTmlCEaX4Vybg
提取码:g481具体内容
一、经济意义检验
经济意义检验主要检验模型参数估计量在经济意义。其表现为检验求得的参数估计值的符号与大小是否合理,是否与根据人们的经验和经济理论所拟定的期望值相符合。如果不符,则要查找原因和采取必要的修正措施,重新建立模型。二、统计检验
1.拟合优度检验(${R^2}$检验) 拟合优度检验是检验回归方程对样本观测值的拟合程度,即检验所有解释变量与被解释变量之间的相关程度。2.方程显著性检验(F检验)
方程显著性检验就是对模型中解释变量与被解释变
量之间的线性关系在总体上是否显著成立作出推断。即
检验被解释变量Y与所有解释变量戈l,石2,……,菇^之间
的线性关系是否显著,方程显著性检验所应用的方法是
数理统计学中假设检验。3.变量显著性检验(t检验)
R2检验和F检验都是将所有的解释变量作为一个整体来检验它们与被解释变量Y的相关程度以及回归效果,但对于多元回归模型,方程的总体显著性并不意味每个解释变量对被解释变量Y的影响都是显著的。如果某个解释变量并不显著,则应该从方程中把它剔除,重新建立更为简单的方程。所以必须对每个解释变量进行显著性检验。三、计量经济学检验
计量经济学检验是由计量经济学理论决定的,目的 在于检验模型的计量经济学性质。通常检验准则有随机 误差项的序列相关检验和异方差性检验,解释变量的多 重共线性检验等,其中最常用的是随机误差项的序列相 关检验。 在回归分析法中,假设随机误差项在不同的样本点 之间是不相关的,即si与8i(i≠_『)相互独立。但在实际 问题中,经常出现与此相违背的情况,占i与si(i≠.『)之 间存在相关性,称为序列相关。若存在序列相关,则此时 的回归模型无效,必须重新建立回归模型。 在序列相关中,最常见的是一阶自相关即占i与sf+l 相关,而对一阶自相关最常用的检验方法是DW检验法模型预测检验
预测检验主要检验模型参数估计量的稳定性以及相对样本容量变化时的灵敏度,确定所建立的模型是否可以用于样本观测值以外的范围,即模型的所谓超样本特性。具体检验方法为:①利用扩大了的样本重新估计模型参数,将新的估计值与原来的估计值进行比较,并检验二者之间差距的显著性。
②将所建立的模型用于样本以外某一时期的实际预测,并将该预测值与实际观测值进行比较,并检验二者之间差距的显著性。更多相关内容 -
模型评估时常用的验证方法有哪些?
2021-11-25 21:53:52缺点:验证集上的评估指标与数据划分有很大的关系,因此为了消除随机性,常采用下面的交叉检验 交叉检验 k fold交叉验证:将数据集随机划分成k个大小相同的子集,依次偏离这k个子集,每次把当前子集作为验证集,...-
hold out 检验
- 将原始的样本集合按比例划分成训练集和验证集,例如7:3, 8:2等,
- 缺点:验证集上的评估指标与数据划分有很大的关系,因此为了消除随机性,常采用下面的交叉检验
-
交叉检验
- k fold交叉验证:将数据集随机划分成k个大小相同的子集,依次偏离这k个子集,每次把当前子集作为验证集,其余作为训练集,最后将k次指标进行平均作为最终结果
- 留1验证:每次留下一个样本作为验证集,其余用于训练,遍历n次,将n次评估结果的均值作为最终评估指标。当样本总数太大的话,需要遍历次数很多,时间开销大。
-
自助法
- 上面两种方法都是基于划分训练集和测试集进行模型训练和评估的。但是当样本集较小时,将样本集进行划分会进一步导致训练集进一步减小,影响模型的效果,
- 自助法是基于自主采样的方法。对于总数为n的样本集,进行n次有放回的随机采样,从而得到大小为n的训练集。n次采样过程中有的样本会重复进行采样,有的样本未被采样,将这些未被采样过的样本作为测试集用于模型验证。
🤔 自助法中,对n个样本进行n次采样,当n趋于无穷大时,最终有多少数据未被选择过?
一个样本在一次抽样中被采样到的概率为 1 n \frac{1}{n} n1,未被采样到的概率为 1 − 1 n 1-\frac{1}{n} 1−n1,n次抽样均未被抽到的概率为 ( 1 − 1 n ) n (1-\frac{1}{n})^n (1−n1)n,当n趋于无穷大时,概率为 lim n → ∞ ( 1 − 1 n ) n \lim\limits_{n\rightarrow\infty} (1-\frac{1}{n})^n n→∞lim(1−n1)n
我们知道 lim n → ∞ ( 1 + 1 n ) n = e \lim\limits_{n\rightarrow\infty} (1+\frac{1}{n})^n = e n→∞lim(1+n1)n=e
lim n → ∞ ( 1 − 1 n ) n = lim n → ∞ 1 ( 1 + 1 n − 1 ) n = lim n → ∞ 1 ( 1 + 1 n − 1 ) n − 1 ⋅ lim n → ∞ 1 ( 1 + 1 n − 1 ) = 1 e \lim\limits_{n\rightarrow\infty} (1-\frac{1}{n})^n = \lim\limits_{n\rightarrow\infty} \frac{1}{(1+\frac{1}{n-1})^n} = \lim\limits_{n\rightarrow\infty} \frac{1}{(1+\frac{1}{n-1})^{n-1}} · \lim\limits_{n\rightarrow\infty} \frac{1}{(1+\frac{1}{n-1})} = \frac{1}{e} n→∞lim(1−n1)n=n→∞lim(1+n−11)n1=n→∞lim(1+n−11)n−11⋅n→∞lim(1+n−11)1=e1
当n很大时,大约有1/e的样本未被采样过,也就是36.8%的样本可以作为验证集。
欢迎关注微信公众号(算法工程师面试那些事儿),本公众号聚焦于算法工程师面试,期待和大家一起刷leecode,刷机器学习、深度学习面试题等,共勉~
-
-
常用模型、分析方法及其检验标准累积汇总
2019-08-07 15:48:42近期计划汇总整理些实际工作中会用到分析方法、模型和算法,计划从方法/模型/算法适用的情况、实现原理、结果及其检验标准、Python调用方法、以及可视化呈现这几个方面入手来整理。 希望能对数据科学分析和挖掘有个...万物皆数学。
近期计划汇总整理些实际工作中会用到分析方法、模型和算法,计划从方法/模型/算法适用的情况、实现原理、结果及其检验标准、Python调用方法、以及可视化呈现这几个方面入手来整理。
希望能对数据科学分析和挖掘有个系统全面的方法论认识。也起到一个方法参考手册的作用。
方法/模型名称 什么情况下适用 实现方法/模型 得到什么系数或结果 如何检验方法或模型是好的,标准如何,如何解读输出 Python实现调用的模型或接口方法 Python方法调用如何解读输出结果、评价效果优劣 可视化呈现 大类 有无监督 备注 参数估计
Parameter Estimation用样本统计量去估计总体参数的方法(如均值、方差)等。 假设检验
Hypothesis TestingZ检验 F检验(见方差分析 ANOVA) 在两样本t检验中要用到F检验。其中要判断两总体方差是否相等,就可以用F检验。 from sklearn.feature_selection import SelectKBest sklearn.feature_selection.univariate_selection import f_classif
model1 = SelectKBest(f_classif, k=2)#选择k个最佳特征
model1.fit_transform(X,y)T检验 比较样本均值是否有明显差异或者来自同一样本总体。
T检验,越接近于0,样本均值越不同,P值越接近于1,样本均值越相同。
注意:配对样本用ttest_rel,不可用ttest_ind,两者结果P值相差很大。stats.ttest_ind(a,b) 独立样本检验
stats.ttest_rel(a,b) 配对样本检验或者相关样本检验
stats.ttest_1samp(data, E) 比较样本的均值是否显著为E。
stats.ttest_rel(d1, d2) 等同于stats.ttest_1samp(d1- d2, 0)
注意:两个样本的方差不同时,如果样本量相差较大,equal_var设置True和False时,P值差异可能会很大。比较时抽样样本量尽量相同。结果解读:T统计量和P值
1)T统计量的绝对值小于等于置信度对应的T分布临界值时,接受原假设,否则拒绝原假设
2)P值小于置信度alpha时,拒绝原假设,否则接受原假设scipy.stats.ttest_ind()
scipy.stats.ttest_rel()
scipy.stats.ttest_1samp()当样本量相差较大时,如果方差也不同,此时T检验的P值很有可能反映不出样本均值的真实差异情况。所以,取样样本量要尽可能一致。 极大似然估计法- MLE
(Maximum Likelihood Estimate)估计均值、估计方差、估计概率密度函数 非参数检验方法 总体分布不要求服从正态分布或总体分布情况不明时,用来检验样本数据是否来自同一总体的统计检验方法 皮尔逊Pearson卡方检验
(Pearson's Chi-Square Statistic)主要用于对两个定类变量之间关系的分析,一般是对检验问题进行转化,通过考察频数与其期望频数之间的吻合程度,达到检查目的。检验还依赖于卡方分布的自由度,自由度定义为类别数量与限制数量之差。
应用场景:(注意每种情况的条件)
(1)四格表资料的卡方检验
(2)行*列表资料的卡方检验
(3)R*C列联表资料的卡方检验要求满足条件:
1、每个单元格中的数据都是确切的频数而非占比
2、类别不可相互交织
3、所有的期望频数应都不小于1
4、至少80%的期望频数都不小于5
否则,要么用蒙特卡洛(Monte Carlo)模拟的方法来计算P值,要么对数据进行重新分类。P值<0.05拒绝原假设
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
model1 = SelectKBest(chi2, k=2)#选择k个最佳特征
model1.fit_transform(X,y)费希尔Fisher确切检验 stats.fisher_exact(table) , table是2*2的表 P值<0.05拒绝原假设 Mann-Whitney秩检验
(又称 U检验)它假设两个样本分别来自除了总体均值以外完全相同的两个总体,目的是检验这两个总体的均值是否有显著的差别。
使用条件:
比较没有配对的两个独立样本,样本可具有不同的大小。
仅在每个样本中的观察次数> 20且有2个独立的等级样本时使用。stats.mannwhitneyu(x, y[, use_continuity, alternative])
思想:
首先,混合两组数据,对所有数据排序。
按照数值大小给定一个值叫做秩。最小的值秩为1,最大的为N(假定两个样本总共有N个观察值)。 如果有相同的值,就得到相同的秩。相同的值的秩是他们的秩的平均值。
如果两组的秩的和差距比较大,就会得出较小的p值,认为这两组间有显著差异。符号检验 P值<0.05拒绝原假设 威尔科克森Wilcoxon符号秩检验 使用条件:
由于正态近似用于计算,因此使用的样本应该很大。一般是要求n> 20。
成对检验,数据是配对的。(x,y长度一致)。stats.wilcoxon(x,y,zero_method='wilcox', correction=False)
注意:当样本量太少<=20,或者当两个样本的长度即样本量不同时,都会报错P值<0.05拒绝原假设 威尔科克森Wilcoxon的秩和检验(又称为Mann-Whitney-Wilconxon Test),简称 MWW检验 P值<0.05拒绝原假设 克鲁斯卡尔-沃利斯Kruskal-Wallis检验
(又称 H检验)使用条件:
具有卡方分布的假设,每组中的样本数量不能太小。(n>5)
比较没有配对的两个独立样本,样本可具有不同的大小。(x,y长度可以不一致)stats.kruskal(x, y)
假设两个分布的样本中位数相等,用于检验样本是否来源于相同的分布。它用于比较两个或多个相同或不同样本大小的独立样本。它扩展了Mann-Whitney U检验,该检验仅用于比较两组。Kruskal-Wallis检验的参数等价物是单因素方差分析 (ANOVA)。P值<0.10拒绝原假设 stats.kruskal(x, y) Kolmogorov-Smirnov test
(又称 KS检验)适用:连续分布,拟合优度
单样本检验时,常用作拟合优度检验,检验样本是否符合期望的分布。两个样本检验时,用作检查两个样本是否来自同一个连续分布。1、检验一个样本是否符合某种分布,比如正态分布
stats.kstest(sample, 'norm',alternative='greater')
alternative可选'two-sided','less','greater'
2、检验2个样本是否来自同一个连续分布
stats.ks_2samp(rvs1,rvs2)统计量D值相当于实际值与拟合的函数值之间的距离。
P值小于0.05时拒绝alternative设置的原假设方差分析法-ANOVA
(Analysis of Variance)分类型自变量对数值型因变量是否有显著影响的统计检验方法。最初有Fisher 提出,也称为F检验。
虽然分析变化的指标是均值,但判断均值是否有差异时需要借助于方差。通过对数据误差的考察来判断不同总体的均值是否相等,进而明确数据误差从何而来。
差异可分解为:组间变异误差、组内变异误差。组间变异,反应处理因素的作用;组内变异误差,反应随机误差的作用。反应全体数据误差大小的成为总变异。
方差分析前应保证:
1、每个总体服从正态分布,即对每个自变量,它的观察值都是正态分布的。
2、各个观察数据值都是相互独立的。
3、各组总体方差相等,即方差齐性,即各观察值都是具有相同方差σ²的正态分布。
通过均值、方差判断正态分布。按照类别将数据分组,统计判断类别对数据的均值是否有影响。如果每个分组的均值相等,说明分组变量对数据没有显著影响,否则说明对数据有显著影响。要检验的对象成为因子,因子的具体表现,称为水平或处理。每个因子具体表现处理下的数据称为观察值 或总体。比如城市水平对电商人群的消费是否有影响,城市水平就是待研究的因子,城市水平的一线、二线、三线、四线就是因子的具体表现,而按照表现划分出的数据就是观察值,这样就得到4个总体。
总变异SS(T)(总离均差平方和),组间变异SS(A)(组间离均差平方和),组内变异SSE(组内离均差平方和)。
关系:SS(T)=SS(A)+SS(E)。
离均差平方和只能反映变异的绝对大小,变异程度还和自由度有关,各部分离均差平方和须除以相应的自由度才能比较,称为均方差(MS(A)=SS(A)/df(A) , MS(E)=SS(E)/df(E)),反映各部分变异的平均大小。
dfT(总自由度) = dfA(各组间自由度)+dfE(组内自由度)F =MSA/MSE。
方差检验的P值。
如果因子对数据没有影响,那么组间误差就只包含随机误差,那么就和组内误差很接近,比值F接近于1。
如果因子对数据的影响很大,那么组间误差就会包含系统误差和随机误差,这样组间均方差就会大于组内均方差,比值F就会>1,当F大于一定程度时,就认为因子的不同处理/水平间存在明显的差异,即自变量对因变量有显著影响。
借助F分布可推断各研究因素对实验结果有无影响。方差分析表:
SS、df、MS、F值、P值
当P值小于多少时,认为差异有统计学上的意义,接受该因子变量。
F统计量F=MSA/MSE,显著水平a下的临界值Fa, 如 F>Fa,小概率事件发生了,拒绝原假设,变量的差异是显著的。F<Fa,不拒绝原假设,没有证据表明各个均值间有显著差异。
两个变量间的关系强度用R^2表示,R^2 = SSA/SST。AOV() 单因素方差分析
(One Way ANOVA)只有一个因子的方差分析。涉及两个变量:一个是分类型的自变量,一个是数值型的因变量。 强度测量:经过方差分析发现自变量对因变量有显著影响,如何定量评判影响的强度。
判断系数R^2=SS(A)/SS(T)。组间离均差平方和/总离均差平方和 作为自变量和因变量之间的关系强度。这个百分比的大小可以看作这个自变量对因变量差异解释的比例。import scipy
from scipy import stats
stats.f_oneway(A1,A2,A3,A4)双因素方差分析-无交互作用的分析 涉及两个分类型自变量时,两个影响因素对于因变量的作用是独立的。
设计实验时主动地对实验对象进行配伍,即运用随机区组设计方案。做法:先按影响试验结果的自变量(非处理因素)将实验对象配成区组,再将各区组内的对象随机分配到不同的处理组,实验对比各组均值差异有无统计学意义,以推断处理因素的效应。SS(T)=SS(A)+SS(B)+SS(E)
总离均差平方和 =列因素A导致的组间离均差平方和 + 行因素B导致的区块组间离均值平方和 +随机误差平方和。
df(T)=df(A)+df(B)+df(E),
F(A)=MS(A)/MS(E),对自变量A构造F统计值,
F(B) =MS(B)/MS(E),对自变量B构造F统计值。from statsmodels.formula.api import ols
from statsmodels.stats.anova import anova_lm
formula = '销量~ 广告+价格'
anova_results = anova_lm(ols(formula,df).fit())
print(anova_results)当P值小于0.05时有显著影响水平,认为该自变量对因变量有影响。 AOV(x~A+B) 双因素方差分析-有交互作用的分析 自变量除了独自的作用外,它们的组合也会对因变量产生新的影响。
如何从统计学的意义上看两个因素是相互影响的?交互作用图。
交互作用图用于描述多因素间相互影响的一种非常有用的统计图形。交互作用图中,如果两个因素间没有交互作用,结果是两条不相交的折线或分段平行线,否则如果两条直线有交点,表示它们之间存在交互作用,而且两条折线越不平行,表示它们之间的交互作用越大SS(T)=SS(E)+SS(A)+SS(B)+SS(A*B)
F(A)=MS(A)/MS(E)
F(B)=MS(B)/MS(E)
F(A*B)=MS(A*B)/MS(E)
分成4部分,主要因素、交互因素、随机误差。formula = '射程~ 燃料*推进器'
#等同于: formula = '射程~ 燃料+推进器+燃料*推进器'
anova_results = anova_lm(ols(formula,df).fit())
print(anova_results)AOV(x~A*B)
interation.plot() 交互作用图
采用基于线性回归的双因素方差分析,函数lm()多重比较
(Multiple Comparison Procedure)通过对总体均值之间的配对比较来进一步检验到底哪些均值间存在差异。 多重t检验 对自变量的每个可能处理下的数据均值进行两两比较 pairwise.t.test()
p.adjust.method
不同P值修正方法对应的效果比较及适用场景。Dunnett检验 进行多个实验组与一个对照组均值差别的多重比较。 引入multcomp包
glht()函数图形化展示Dunnett检验结果 Tukey的HSD检验 HSD检验比多重t检验保守,但要求所有的样本均值来自容量相等的样本。 from statsmodels.stats.multicomp import pairwise_tukeyhsd
print(pairwise_tukeyhsd(df.销量, df.广告))TukeyHSD()函数 Newman-Keuls检验
(或简称 SNK检验法)SNK是对HSD检验的一种修正。 将g个样本均值从小到大排列,对步长为r的两个均值Xi,Xj,距离r步的均值间的临界值是W(r),如果满足|Xi - Xj| >= W(r) 就认为两者有显著差异。 SNK.test() 方差齐性检验 方差分析的一个前提是相互比较的样本总体方差相等,即具有方差齐性。所以方法分析前都要做一个方差齐性检验。 Bartlett检验法 对于正态分布总体,采用Bartlett法检验齐方差性 stats.bartlett() Levene检验法 levene检验检验所有输入样本来自具有相同方差的总体。与Bartlett法相比,Levene检验法在多样本方差齐性检验时,所分析的资料可不具有正态性。即当样本与正态性有明显的偏差时,Levene检验是Bartlett检验的一种替代方法。该检验法的本质是对由随机变量Y的均值(或中位数、或切位均值)离差构成的新分组数据进行单因素方差分析 stats.levene() P值小于0.05时方差有明显差异,样本来自不同的总体。 levene.test() 回归分析法 判断系数R^2=回归平方和/总离差平方和。
比值越小,说明回归线和样本拟合的越好,反之,拟合的不好。一元线性回归 总体回归方程
Y_i=E(Y)+e_i =b0 + b1*X_i + u_i
线性回归模型的基本假定:
1、零均值假定 2、同方差假定
3、相互独立性 4、因变量和自变量间满足线性关系线性回归模型的4张统计图形。
1、残差对拟合值的散点图。(横坐标是拟合值,纵坐标是残差值) 该图用于检验回归模型是否合理、是否有异方差性以及是否存在异常值。附加线是采用局部加权回归散点修云法绘制的(Lowess,locally weighted scatterplot smoothing)。如果残差的分布大致围绕X轴,则模型基本是无偏的。另外,如果残差的分布范围不随预测值的改变而大幅变化,则可以认为同方差假设成立。
2、标准化残差的QQ图。即将每个残差都除以残差标准差,然后再将结果与正态分布做比较。理想的结果是QQ图中的散点排列成一条直线。如果图中散点的分布较大的偏离了直线,表明残差的分布是非正态的或不满足同方差性,那么随机干扰的正态性也不满足。
3、作用与图1大致相同。X轴是拟合值,Y轴是相应的标准化残差值绝对值的平方根,如果平方根大于1.5,则说明该样本点位于95%置信区间外。中间的线偏离水平直线的程度较大,意味着异方差性。
4、标准化残差对杠杆值的散点图,作用是检查样本点中是否有异常值。如果删除样本点中的一条数据,由此造成回归系数变化过大,就表明这条数据对回归系数的计算产生了明显的影响,这条数据就是异常值。需要好好考虑是否在模型中使用这条数据。帽子矩阵对角线元素就是杠杆值(Leverage)。杠杆值用于评估第i个观测值离其余n-1个观测值的距离有多远。对于一元回归来说,杠杆值h_ii = 1/n +(X_i - avg(X))^2 / sum(X_i - avg(X))^2。图中还有LOWESS曲线和库克距离曲线。库克距离用于诊断各种回归分析中是否存在异常数据。库克距离太大的样本点可能是模型的强影响点或异常值点,需要进一步检验。通常当库克距离大于1时就需要引起注意。
最小残差平方和 来确定参数 b0,b1回归模型基本假定随机扰动符合一个均值时0,方差为sigma^2的正态分布,又称为总体方差。
对总体方差的无偏估计:从残差e_i平方和来估计,sigma^2=(sum(e_i ^2)) /(n-2)
估计参数b0,b1的概率分布和95%置信区间。
平方和除以相应的自由度称为均方差。验证模型优劣的评估方法:
1、拟合优度的检验
总离差平方和(Total Sum of Squares),即SS_total
残差平方和(Residual Sum of Squares),即SS_residual
回归平方和(Regression Sum of Squares),即SS_regression
总离差平方和公式:
SS_total = SS_residual + SS_regression
回归平方和/总离差平方和之比称为样本判定系数:R^2 = SS_regression/SS_total
判断系数R^2是一个回归直线与样本观察值拟合优度的指标,值越大拟合度越好,值越小拟合度越差。
注意两个值:Multiple R-squared ,和 Adjusted R-squared。一般认为调整判定系数会比判定系数更好的反映回归直线与样本点的拟合优度。
2、整体性假定检验
此处定义的自由度是平方和中独立观察值的个数,总离差平方和的自由度是 n-1,回归平方和的自由度是1。SS_total的自由度 = SS_regresion自由度 + SS_residual自由度
均方差之比服从相应自由度的F分布,利用F统计量对总体线性的显著性进行检验。也可以查看F统计量对应的P值。如果F大于给定的显著水平的临界值,或者P值小于显著水平,则说明解释变量对因变量是有影响的,即回归总体是显著线性的。反之,回归总体不存在线性关系,即解释变量对因变量没有显著的影响关系。
3、单个参数的检验
检验自变量对因变量的影响是否是显著的,即线性关系是不是显著的。通过P值判断。
预测--回归模型的应用:对于给定的点,估计它的取值,或者预测可能取值的区间。
1、点预测,
2、区间预测绘制图形的代码:plot(Std_Residuals ~ Leverage)
lines(lowess(Std_Residuals ~Leverage))
得到P值
得到F值
判定系数、调整判定系数
参数的置信区间
总体方差无偏估计
预测predict多元线性回归
(是变量线性、参数也线性的回归模型)多个解释变量的回归模型。
Y=Xb + u 用矩阵形式表示的多元线性总体回归模型
要求多元线性回归模型满足线性关系外需要遵守以下假定:
1、零均值假定
2、同方差假定
3、相互独立性 , cov(u_i,u_j) =0 ,i!=j
4、无多重共线性假定第一步:使用散点图阵列来考察变量与被解释变量之间的线性关系。注意解释变量之间线性关系是否显著,是否有多重共线性的可能。
第二步:构建多元线性回归模型,解读结果。
第三步:参数估计
第四步:多元回归模型检验
(1)线性回归的显著性检验,F值,P值检验
(2)回归系数的显著性检验,T值,P值检验
第五步:利用回归方程进行预测
(1)个别值的区间预测
(2)总体均值的区间预测回归模型拟合优度R^2,调整判定系数R^2_adj 多元回归模型检验:
如果解释变量的个数为k,则回归平方和的自由度为k。
1、线性回归的显著性
2、回归系数的显著性
多元线性回归模型预测
双对数模型以及生产函数
(变量非线性的回归模型)倒数模型与菲利普斯曲线
(变量间非线性的模型)多项式回归模型
(Polynomial Regression Model)岭回归 Lasso回归 逻辑回归 梯度、逻辑函数 回归模型的评估与选择 嵌套模型选择 赤池信息准则 逐步回归方法 梯度下降 聚类分析-也称无监督的分类 聚类分为划分聚类、层次聚类。划分聚类是将数据集划分成不重叠的子集,层次聚类是允许划分子集中有子子集。依据数据特性和期望的结果定义分簇个数。取决于数据中发现的描述特征及其关系。 相似取决于选取的相似度计算方法 将相似对象归于同一簇中,不相似对象归到不同簇中 组内的相似性越大,组间差别越大,聚类越好 聚类 无监督的 k-means聚类 不能处理非球形簇、不同尺寸和不同密度的簇。对包含离群点的数据聚类也会有问题,需要检测和删除离群点。 k-means均值算法。
1、随机K个质心位置初始化,初始位置会影响迭代次数。初始质心可以选平均值或中位数。
2、停止迭代方法:(1)仅有1%的点发生簇的改变(2)总距离值达到一个最小值,或者变化极小。(3)质心不再改变
相似度度量方法:
1、闵科夫斯基距离:包括欧式距离、曼哈顿距离。数值越小,距离越近。
2、夹角余弦距离:夹角越小,余弦越大,越相近,1时方向相同。夹角越大,余弦越小,-1时完全相反。
3、Jaccard相似系数:衡量两个集合的相似度,即重合度。交集/并集。可用在社交网络分析中,通过共同好友,为另一人推荐可能认识的人的分析。K个质心的位置和每个元素距离哪个质心最近。 如何解读这K个质心所聚成的类是什么意思呢?或者怎么挖掘这K个簇是什么特征或有什么描述呢? 聚类 无监督的 EM方法-最大期望算法(Expectation Maximization) 清楚数据应该有几个不同的类别,每个类别有自己的分布,希望找出每个类别的分布参数是什么,并且判断每个用户属于哪个分布。
EM算法是解决存在隐含变量优化问题的有效方法。EM算法:
1、本质思想:在各个类别中随机猜一个类别的分布参数,基于这个猜测将每个元素分组归类,根据极大似然估计重新得到各类别的分布参数,重复上述步骤迭代,直到参数基本不改变。实践中,当似然函数L变化很小时可停止迭代。
问题:算法能否迭代到参数不变?即参数是否可收敛?
如何确定有几类?如何知道每个类别符合什么分布,又有什么样的参数可以用来定义这个类别,和判断数据元素在这样的参数下如何属于和不属于这个类别?得到各个分类的参数,及每个元素属于哪个分类。 似然函数L变化很小时停止迭代,如何解读似然函数的数值大小的含义。 Mclust() 用不同的颜色和形状二维图呈现聚类效果; 高斯混合模型-GMM
(Gaussian Mixture Model)EM算法的一种现实应用。实践应用中常假设数据是具有不同参数控制的数个符合正态分布的数据。高斯混合模型是假设数据样本符合高斯分布?
指的是正态分布和多项式分布?用不同的颜色和形状二维图呈现聚类效果;
绘制二维概率密度图;
绘制三维概率密度图;支持向量机-有监督的 线性可分的支持向量机 近似线性可分、非线性可分、核函数 SVM算法 分类-有监督的分类 分类的目标已知 神经网络-有监督的 adaboost算法 决策树 关键指标 贝叶斯分类 全概率公式 贝叶斯定理 随机森林 常见损失函数 常用的距离函数 K最近邻算法(KNN)
(K-Nearest Neighbor)有两种形式:回归法,分类法
选择未知样本一定范围内确定个数的K个样本,该K个样本大多数属于某一类型,则未知样本判定为该类型。
k近邻法最简单的实现是线性扫描(穷举搜索),即要计算输入实例与每一个训练实例的距离。计算并存储好以后,再查找K近邻。算法基本步骤:
1)计算待分类点与已知类别的点之间的距离
2)按照距离递增次序排序
3)选取与待分类点距离最小的k个点
4)确定前k个点所在类别的出现次数
5)返回前k个点出现次数最高的类别作为待分类点的预测分类
如何选择K?
1、猜测K。2、使用启发式选择K 3、使用算法优化from scipy.spatial import KDTree
from sklearn.metrics import mean_absolute_error
from sklearn import neighbors
knn = neighbors.KNeighborsClassifier(n_neighbors=5, weights='uniform')分类 有监督的 隐马尔可夫模型 特征选择 特征转换 群集 Bagging算法 -
【深度学习 模型压缩】10分钟了解下模型压缩的常用方法
2020-03-17 11:12:13一、什么是模型压缩? 模型压缩的目标是保证模型预测效果的前提下,尽可能地降低模型的大小 二、为什么要进行模型压缩? 1. 模型压缩后,模型很小,进行推断的运算量小,利于在移动端部署。 2. 诸如Bert等深度学习...一、什么是模型压缩?
模型压缩的目标是保证模型预测效果的前提下,尽可能地降低模型的大小二、为什么要进行模型压缩?
1. 模型压缩后,模型很小,进行推断的运算量小,利于在移动端部署。 2. 诸如Bert等深度学习的参数太多了,模型太大了,消耗的计算资源过多,进一步加大了深度学习爱好者们的“贫富差距”,不够和谐。以Bert-large为例,训练一次需要64G显存的google TPU,按照每小时6.5美元的价格,1024块训练76分钟,总消耗:1024*6.5*(76/60)=8430美金。一般人和公司真是玩不起。模型压缩领域的“有志之士”的终极目标是能够让“贫苦的深度学习爱好者”也玩得起,他们进行了一些列的研究,他们发现使用压缩后(更小的)模型也能够达到原始模型类似的效果。
三、常见的模型压缩方法有哪些?
- Pruning(修剪): 因为神经网络很多权重几乎为0,这类参数作用不大,部分参数删掉也不影响模型预测效果
- Weight Factorization(权重分解):权重矩阵可以进行低秩矩阵分解,即low-rank matrix
factorization,从而使得一些参数为0 - Quantization(削减精度):能用float32,不用float64;能用int,不用float
- Weight Sharing(共享权重):很多layer的参数可以共享,没必要用太多参数
很多小伙伴可能会想:模型压缩只是“大模型”的后续处理,也不能让我们玩转大模型哇。理想的方式是,我们只设计好一个小的模型就能达到非常好的效果。
实际上,模型压缩的出现,让我们看到了“好的小模型的样子”,对我们后续设计小模型有很多借鉴意义。
-
模型检验方法:holdout、k-fold、bootstrap
2020-04-01 19:23:27参考:... ... 1.Holdout检验 Holdout 检验是最简单也是最直接的验证方法, 它将原始的样本集合随机划分成训练集和验证集两部分。 比方说, 我们把样本按照70%~30% 的比例分... -
作为SLAM中最常用的闭环检测方法,视觉词袋模型技术详解来了
2020-09-16 12:26:22作为SLAM中最常用的闭环检测方法,视觉词袋模型技术详解来了 原创 小翼 飞思实验室 今天 基于语义的图像分类研究是一个涉及模式识别、机器学习、计算机视觉及图像处理等多个研究领域的交叉研究方向,并受到学术界... -
【目标检测】目标检测的一些常用神经网络模型及方法
2020-12-01 20:30:15我的阶段性总结???? 文章目录1.概述1.2 目标检测的任务1.3 目标检测的分类2.R-CNN系列2.1 [R-CNN(Region with CNN features)](https://arxiv.org/pdf/1311.2524.pdf)2.2 [Fast R-CNN]... -
常用目标检测方法
2019-08-22 22:06:261.基于光流的检测方法 光流:空间运动目标在观测成像上像素运动的瞬时速度。 光流场:包含图像速度大小和方向,上一幅图像到下一幅图像对应像素点之间的位移信息。 缺点: 检测区域灰度等级变化不明显时,不能对... -
目标检测多模型集成方法总结
2021-01-13 23:51:32本文转载自AI公园。前段时间推送了文章:难以置信的目标检测小妙招:多训练几个epochs,平均一下就能获得更好的模型,不少朋友对模型集成感兴趣,本文是个小总结。作者:Vikas S S... -
机器学习模型的几种常用评估方法
2020-06-03 18:40:21目录 概念 模型评估之 — 混淆矩阵 模型评估之 — K-S值 模型评估之 — AR值 模型评估之 — ROC图和AUC 评估指标 — Gain增益图 评估指标 — Psi稳定性 过拟合与欠拟合 概念 通过训练集产生的模型,利用测试数据来... -
数学建模的常用模型和方法
2014-04-01 09:52:58常用模型 l 规划&优化(lingo):0-1规划、线性规划、整数规划、非线性规划、动态规划、单目标、多目标、 l 图论:最短路径、hamilton圈、旅行商TSP问题 、最小生成树、网络最大流、最小费用流、 l 插值拟合 :... -
常用异常值检测方法总结梳理笔记
2019-05-10 16:21:16异常值检测方法 ... -
一份简短又全面的数学建模技能图谱:常用模型&算法总结
2019-05-04 08:34:41本文总结了常用的数学模型方法和它们的主要用途,主要包括数学和统计上的建模方法,关于在数学...总的来说,常用主成分分析来降维,综合评价的方法有因子分析法、层次分析法、....,用蒙特卡罗方法来随机模拟求解;... -
数据挖掘常用的模型,具体有哪些?
2019-12-05 13:49:22机器学习和数据挖掘是紧密相关的,要进行数据挖掘需要掌握一些机器学习所用的方法和模型知识,通过模型的训练可以得到处理数据的最优的模型。数据挖掘常用的模型如下: 3.1 监督学习模型 就是人们常说的分类,通过已... -
Logistic回归模型中拟合优度检验的无症状分布
2020-06-04 16:22:40逻辑回归模型已成为研究二进制响应变量之间的关联的常用方法。 它的广泛应用取决于其易于应用和解释。 Logistic回归模型的拟合优度评估主题吸引了许多科学家和研究人员的关注。 拟合优度测试是确定拟合模型的适用性... -
模型优化方法
2018-07-12 12:08:38先进行训练,得到一个初始的结果结果分析:首先我们观察训练 loss(目标函数值)变化,刚开始 loss 从 200 不断减小到接近 0,但是在 100 轮左右开始出现震荡,并且随着训练幅度越来越大,说明模型不稳定。... -
评分模型的检验方法和标准&信用评分及实现
2017-11-22 13:58:45评分模型的检验方法和标准通常有:K-S指标、交换曲线、AR值、Gini数等。例如,K-S指标是用来衡量验证结果是否优于期望值,具体标准为:如果K-S大于40%,模型具有较好的预测功能,发展的模型具有成功的应用价值。K-S... -
PCB板常用检测方法
2020-11-12 09:44:03本文来介绍PCB板常用检测方法 1、PCB板人工目测 使用放大镜或校准的显微镜,利用操作人员视觉检查来确定电路板合不合格,并确定什么时候需进行校正操作,它是最传统的检测方法。它的主 要优点是低的预先成本和没有... -
离群点检测常用方法
2020-09-06 01:30:53基于统计学的离群点检测方法大多都基于构建一个概率分布模型,并考虑数据集中对象与该概率分布模型相符合的程度。 定义1.基于统计学方法的离群点定义 离群点是一个对象,关于数据的概率分布模型,它具有低概率。 ... -
异常检测模型整理
2021-08-01 18:30:07写在前面 文中使用了其他博主的图,具体链接已不好追踪,如果不妥,还请谅解(私信我加备注哦)~ 异常检测主要检测数据中的离群点,异常数据的特征值与...若有标签数据,则优先使用有监督学习方法解决问题。在基于监 -
五种常用异常值检测方法
2020-06-22 14:46:37Toggle navigation 首页 产业趋势 专家观察 CISO洞察 决策研究 登录 APP下载 数据挖掘最前线:五种常用异常值检测方法 安全运营 机器之心 2019-07-05 通过鉴别故障来检测异常对任何业务来说都很重要。本文作者总结了... -
【百问机器学习】11.模型评估都有哪些验证方法,各自优缺点都是什么?
2019-11-18 10:57:11模型评估方法: 1.Holdout检验: 将原始集合按照7:3比例随机划分训练集和验证集; 7份用来训练模型,3份用来检验模型; 存在问题: 验证集的验证结果依赖于原始分组。 2.交叉检验(留一验证): 为消除Holdout检验... -
常用的统计分析方法
2020-12-27 12:53:30交叉分析、是市场研究的主要工作,大部分研究分析均使用,主要用于分析报告和分析数据源,各种图表等,当然其中也有卡方检验和T检验,寻找差异 表(Table)分析 类似于Excel的数据透视表,连续数据和离散数据均可使用... -
论文研究 - 资本资产定价模型的贝叶斯诊断检验
2020-05-30 08:06:24资本资产定价模型(CAPM)是财务中常用的回归模型,用于对股票收益进行建模。 为CAPM开发了贝叶斯方法,以解决行业内的市场波动。 但是,需要使用贝叶斯模型检查程序来根据独立性,方差均匀性和正态性的通常回归模型... -
常用的统计模型
2019-06-28 09:51:011.广义线性模型(是多数监督机器学习方法的基础,如逻辑回归和Tweedie回归) 2.时间序列方法(ARIMA ,SSA,基于机器学习的方法) 3.结构方程建模(针对潜变量之间关系进行建模) 4.因子分析(调查设计和验证的... -
OCR文本检测模型—SegLink
2019-08-23 22:29:01该方法能在自然场景下较好地实现对文字的检测,但在CTPN中给出的文本检测效果是基于水平方向的,对于非水平的文本检测效果并不好,而在自然场景中,很多的文本信息都是带有一定的旋转角度的,例如用手机... -
aic值检验 p值_模型选择方法:AIC和BIC
2020-10-22 16:52:54经常地,对一堆数据进行建模的时候,特别是分类和回归模型,我们有很多的变量可供使用,选择...目前常用有如下方法:AIC=-2 ln(L) + 2 k 中文名字:赤池信息量 akaike information criterionBIC=-2 ln(L) + ln(n)... -
机器学习模型评估方法
2018-05-22 23:08:372、数据集划分方法 2.1、留出法 2.2、交叉验证法 2.3、自助法 2.4、调参 3、性能度量 3.1、 查准率,查全率与F1 3.2、如何比较两学习器性能 3.3、ROC、AUC和EER 3.4、代价敏感错误率 4、比较检验 4.1、... -
16种常用的数据分析方法汇总
2020-12-06 12:48:27一、描述统计描述性统计是指运用制表和分类,图形以及计筠概括性数据来描述数据的集中...常用方法:非参数检验的K-量检验、P-P图、Q-Q图、W检验、动差法。二、假设检验1、参数检验参数检验是在已知总体分布的条件下... -
基于预报误差最小的自回归模型定阶方法研究①* (1997年)
2021-06-15 04:11:18应用MAPE方法及五种常用的定阶方法(FPE,AIC,BIC,L1和L2准则),对上海月平均温度序列(1873―1980年)进行定阶试验计算和预报检验。结果表明,MAPE方法是一种效果较好的自回归模型定阶方法,并且简单实用。