精华内容
下载资源
问答
  • 非参数回归

    千次阅读 多人点赞 2020-04-21 21:14:51
    一元非参数回归 给定一组样本观测值(Y1,X1),(Y2,X2),⋯ ,(Yn,Xn),(Y_1,X_1),(Y_2,X_2),\cdots,(Y_n,X_n),(Y1​,X1​),(Y2​,X2​),⋯,(Yn​,Xn​),XiX_iXi​和YiY_iYi​之间的任意函数模型表示为 Yi=m(Xi)+εi,i=1,...

    一元非参数回归

    给定一组样本观测值 ( Y 1 , X 1 ) , ( Y 2 , X 2 ) , ⋯   , ( Y n , X n ) , (Y_1,X_1),(Y_2,X_2),\cdots,(Y_n,X_n), (Y1,X1),(Y2,X2),,(Yn,Xn), X i X_i Xi Y i Y_i Yi之间的任意函数模型表示为
    Y i = m ( X i ) + ε i , i = 1 , 2 , ⋯   , n . Y_i=m(X_i)+\varepsilon_i,i=1,2,\cdots,n. Yi=m(Xi)+εi,i=1,2,,n.
    其中 m ( ⋅ ) = E ( Y ∣ X ) , ε m(\cdot)=E(Y|X),\varepsilon m()=E(YX),ε为随机误差项,一般假定 E ( ε ∣ X = x ) = 0 E(\varepsilon|X=x)=0 E(εX=x)=0, v a r ( ε ∣ X = x ) = σ 2 \rm{var}(\varepsilon|X=x)=\sigma^2 var(εX=x)=σ2,不必是常数。

    核回归光滑模型

    参考上篇文章讲到的核密度估计法,相当于求 x x x附件的平均点数,平均点数的求法是对可能影响到 x x x的样本点,按照距离 x x x的远近作距离加权平均.核回归光滑的基本思路之类似,在此不是求平均点数,而是估计点 x x x y y y的取值,仍然按照距离 x x x的远近对样本观测值 y i y_i yi加权,这一思想被称为 N a d a r a y a − W a t s o n \rm{Nadaraya-Watson} NadarayaWatson核回归.

    • 选择核函数 K ( ⋅ ) K(\cdot) K()以及窗宽 h n > 0 h_n>0 hn>0,
      inf ⁡ K ( u ) d u = 1. \inf K(u)\rm{d}u=1. infK(u)du=1.
    • 定义加权平均核为
      ω i ( x ) = K h n ( X i − x ) ∑ j = 1 n K h n ( X j − x ) , i = 1 , 2 , ⋯   , n , \omega_i(x)=\frac{K_{h_n}(X_i-x)}{\sum_{j=1}^n K_{h_n}(X_j-x)}, i=1,2,\cdots,n, ωi(x)=j=1nKhn(Xjx)Khn(Xix),i=1,2,,n,
      其中 K h n ( u ) = h n − 1 K ( u h n − 1 ) K_{h_n}(u)=h_n^{-1}K(uh_n^{-1}) Khn(u)=hn1K(uhn1)是一个概率密度函数.则N-W估计的定义为:
      m n ( x ) = ∑ i = 1 n ^ ω i ( x ) Y i . \hat{m_n(x)=\sum_{i=1}^n}\omega_i(x)Y_i. mn(x)=i=1n^ωi(x)Yi.
      注意一点:
      θ ^ = min ⁡ θ ∑ i = 1 n ω i ( x ) ( Y i − θ ) 2 = ∑ i = 1 n ω i Y i ∑ i = 1 n ω i , \hat{\theta}=\min_\theta \sum_{i=1}^n \omega_i(x)(Y_i-\theta)^2=\sum_{i=1}^n \frac{\omega_iY_i}{\sum_{i=1}^n\omega_i}, θ^=θmini=1nωi(x)(Yiθ)2=i=1ni=1nωiωiYi,
      因此,核估计等价于局部加权最小二乘估计.权重 ω i = K ( X i − x ) \omega_i=K(X_i-x) ωi=K(Xix).常用核函数已经在上篇文章介绍.核密度回归还有另外一种写法:
      E ( Y ∣ X = x ) = ∫ y f ( y ∣ x ) d y = ∫ y f ( x , y ) f X ( x ) d y = m ( x ) , E(Y|X=x)=\int yf(y|x)dy=\int y \frac{f(x,y)}{f_X(x)}dy=m(x), E(YX=x)=yf(yx)dy=yfX(x)f(x,y)dy=m(x),
      其中 f ( y ∣ x ) f(y|x) f(yx)是给定 X = x X=x X=x Y Y Y的条件pdf, f X ( x ) f_X(x) fX(x) X X X的边际pdf.上式对 y y y积分所以可以进一步写为:
      m ( x ) = E ( Y ∣ X = x ) = ∫ y f ( x , y ) d y f X ( x ) . m(x)=E(Y|X=x)=\frac{\int y f(x,y)dy}{f_X(x)}. m(x)=E(YX=x)=fX(x)yf(x,y)dy.
      给定样本观测值为 { X i , Y i } , i = 1 , … , n \{X_i,Y_i\},i=1,\dots,n {Xi,Yi},i=1,,n.此时的未知量是 f ( x , y ) f(x,y) f(x,y) f X ( x ) f_X(x) fX(x),我们可以通过多元核密度估计来得到,此时有:
      f ^ h , g ( x , y ) = 1 n ∑ i = 1 n K h ( x − X i h ) K g ( y − Y i g ) \hat{f}_{h,g}(x,y)=\frac{1}{n}\sum_{i=1}^n K_h \left( \frac{x-X_i}{h} \right)K_g \left( \frac{y-Y_i}{g} \right) f^h,g(x,y)=n1i=1nKh(hxXi)Kg(gyYi)
      ( y − Y i ) g = s \frac{(y-Y_i)}{g}=s g(yYi)=s:
      ∫ y f ^ h , g ( x , y ) d y = 1 n ∑ i = 1 n 1 h K ( x − X i h ) ∫ y g K g ( y − Y i g ) d y = 1 n ∑ i = 1 n K h ( x − X i ) ∫ ( s g + Y i ) K ( s ) d s = 1 n K h ( x − X i ) { g ∫ s K ( s ) d s + Y i ∫ K ( s ) d s } = 1 n K h ( x − X i ) Y i \begin{aligned} \int y\hat{f}_{h,g}(x,y)dy &=\frac{1}{n}\sum_{i=1}^n \frac{1}{h}K\left( \frac{x-X_i}{h} \right)\int\frac{y}{g}K_g\left( \frac{y-Y_i}{g} \right)dy\\ &=\frac{1}{n}\sum_{i=1}^nK_h(x-X_i)\int(sg+Y_i)K(s)ds\\ &= \frac{1}{n}K_h(x-X_i) \left\{g\int sK(s)ds+Y_i\int K(s)ds \right\} \\ &=\frac{1}{n}K_h(x-X_i)Y_i \end{aligned} yf^h,g(x,y)dy=n1i=1nh1K(hxXi)gyKg(gyYi)dy=n1i=1nKh(xXi)(sg+Yi)K(s)ds=n1Kh(xXi){gsK(s)ds+YiK(s)ds}=n1Kh(xXi)Yi
      其中由核函数的性质得到: ∫ s K ( s ) d s = E ( s ) = 0 \int sK(s)ds=E(s)=0 sK(s)ds=E(s)=0, ∫ K ( s ) d s = 1 \int K(s)ds=1 K(s)ds=1则Nadaraya-Watson估计量还可以写为:
      m ^ h ( x ) = n − 1 ∑ i = 1 n K h ( x − X i ) Y i n − 1 ∑ j = 1 n K h ( x − X j ) \hat{m}_h(x)=\frac{n^{-1}\sum_{i=1}^nK_h(x-X_i)Y_i}{n^{-1}\sum_{j=1}^{n}K_h(x-X_j)} m^h(x)=n1j=1nKh(xXj)n1i=1nKh(xXi)Yi
      举个例子:
      鱼的体长和光泽度的散点图
      我们通过一元核回归模型来拟合这个数据集,采用 N a d a r a y a − W a t s o n Nadaraya-Watson NadarayaWatson核回归,同时比较不同窗宽 h h h对回归曲线的影响,首先复习一下上节的二元核密度估计:
      二维核密度估计等高线图
      再看看另一个角度:

    在这里插入图片描述
    代码如下

    file = "D:\REF\fish.txt"
    data<-read.table(file="D:\\REF\\fish.txt",header = T)
    x <- cbind(data$length,data$luminous)
    
    est <- bkde2D(x=x)
    contour(est$x1, est$x2, est$fhat,xlab = 'length',ylab='luminous',main='KDE')
    persp(est$fhat,xlab = 'f(x)',main = 'KDE')
    

    再进行核回归,这里分别取 h = 0.1 , 0.5 , 1.5 , 3.0 h=0.1,0.5,1.5,3.0 h=0.1,0.5,1.5,3.0.
    在这里插入图片描述
    R语言代码如下

    file = "D:\REF\fish.txt"
    data<-read.table(file="D:\\REF\\fish.txt",header = T)
    x <- cbind(data$length,data$luminous)
    
    par(mfrow=c(2,2))
    fit1 <- ksmooth(x=data$length,y=data$luminous,kernel='normal',bandwidth = 0.1,range.x = range(data$length),n.points = length(x))
    fit2 <- ksmooth(x=data$length,y=data$luminous,kernel='normal',bandwidth = 0.5,range.x = range(data$length),n.points = length(x))
    fit3 <- ksmooth(x=data$length,y=data$luminous,kernel='normal',bandwidth = 1.5,range.x = range(data$length),n.points = length(x))
    fit4 <- ksmooth(x=data$length,y=data$luminous,kernel='normal',bandwidth = 3.0,range.x = range(data$length),n.points = length(x))
    plot(x1,x2,xlab = 'length' ,ylab = 'luminous' ,main='bandwidth=0.1')
    lines(fit1,lwd=1.0,col='blue')
    plot(x1,x2,xlab = 'length' ,ylab = 'luminous' ,main='bandwidth=0.5')
    lines(fit2,lwd=1.0,col='blue')
    plot(x1,x2,xlab = 'length' ,ylab = 'luminous' ,main='bandwidth=1.5')
    lines(fit3,lwd=1.0,col='blue')
    plot(x1,x2,xlab = 'length' ,ylab = 'luminous' ,main='bandwidth=3.0')
    lines(fit4,lwd=1.0,col='blue')
    
    展开全文
  • 非参数回归-局部回归

    千次阅读 2019-09-25 18:42:29
    # Nadaraya-Waston核估计,参数xData , yData必须是矩阵,且长度一样  kernalRegress  function(xData , yData) {  # 最终返回针对y的核回归拟合的值  nData(xData)  yRegress (NaN , nrow =...

    #### 一:时间序列图

    # 商品房销售价格指数的时间序列图

    library(psych)

    #绘制时序图

    x<-ts(y, frequency =1, start=c(2004),end=c(2016))

    plot(x)

     

    #1阶差分,并绘制出差分后序列的时序图

    y.dif<-diff(x)

    plot(y.dif)

     

    # 差分序列adf单位根检验

    library(urca)

    a<-ur.df(y.dif)

    b<-summary(a)

    taus<-b@cval[1,]

    ts<-b@teststat[1:1]

     

    # acf pacf 

    #绘制序列自相关图和偏自相关图

    a<-acf(y.dif,plot=T)

    a

    b<-pacf(y.dif,plot=T)

    b

     

    # 采用AR(1)模型

    y_l=y.dif[2:12]

    x_l=y.dif[1:11]

    ols_fit<-lm(y_l~x_l)

    summary(ols_fit)

     

    #ols下的残差值

    residuals(ols_fit)

    #ols下的估计值

    fitted(ols_fit)

    #拟合曲线

    plot(y_l~x_l)

    abline(ols_fit)

     

    ### 局部回归模型:

    model=loess(y_l~x_l,control = loess.control(surface = "direct"),degree=2)

    predictions1<- predict (model,x_l)

     

    # 绘图

    plot(x_l,y_l,pch=19)

    x1<-order(x_l)

    nr<-length(x1)

    x_arr<-array(1:nr)

    y_arr<-array(1:nr)

     

    for(iin c(1:nr)){

      temp=x1[i]

      x_arr[i]=x_l[temp]

      y_arr[i]=predictions1[temp]

    }

    abline(ols_fit,col='red')

    lines(x_arr,y_arr,col='blue')

     

     

    #### 二: OLS 回归

    ols_fit<-lm(y~x)

    summary(ols_fit)

    #ols下的残差值

    residuals(ols_fit)

    #ols下的预测值

    fitted(ols_fit)

    #拟合曲线

    plot(y~x)

    abline(ols_fit)

     

    #### 三 NW核回归

    # 采用的是高斯核(Gaussian Kernal),故核函数是正态分布下的密度函数

    kernalGaussian <- function(xData)

    {

      stdX <- sd(xData)

      #  高斯宽带的选择:每个点处的最优带宽

      h <- 1.06*stdX*length(xData)^(-1/5)

      print(h)

      # 每个点处的核函数

      kernalX <- 1/(h*sqrt(2*pi)) * exp(-xData^2/(2*h^2))

      return(kernalX)

    }

     

    # Nadaraya-Waston核估计,参数xData , yData必须是矩阵,且长度一样 

    kernalRegress <- function(xData , yData)

    {

      #  最终返回针对y的核回归拟合的值

      nData<-nrow(xData)

      yRegress <- matrix(NaN , nrow = nData , ncol = 1)

      for (iin c(1:nData))

      {

        x <- xData[i]

        xXt <- matrix(x , nrow = nData, ncol = 1) - xData

        # khx也就是权重

        khX <- kernalGaussian(xXt)

        # yRegress 加权算术平均值:求出x处的平均值

        yRegress[i] <- sum(yData*khX)/sum(khX)

        

      }

      return(yRegress)

    }

     

    #  核回归的检测

    #x,y排序

    x1<-order(x)

    nr<-length(x)

    x_arr<-array(1:10)

    y_arr<-array(1:10)

     

    for(iin c(1:nr)){

      temp=x1[i]

      x_arr[i]=x[temp]

      y_arr[i]=y[temp]

    }

     

    # 把x,y变成矩阵

    x_matrix<- as.matrix(x_arr)

    y_matrix<- as.matrix(y_arr)

     

    # 核回归

    y_regress<-kernalRegress(x_matrix,y_matrix)

     

    # 真实值和预测值

    cbind(y_matrix,y_regress)

     

    # 画图

    plot(x_arr,y_matrix,xlab = "全体居民消费指数", ylab = "商品房销售价格指数")

    lines(x_arr,y_regress,col = 'red')

     

    # 合并图

    plot(x_arr, y_arr, xlab = "全体居民消费指数", ylab = "商品房销售价格指数", col = 1)

    lines(x_arr, abline(ols_fit), lty = 1, col = 1)

    lines(x_arr,y_regress, lty = 2, col = 2)

    letters <- c("OLS model", "NW method")

    legend("bottomright", legend = letters, lty = 1:2, col = 1:2, cex = 0.5)

     

    转载于:https://www.cnblogs.com/laoketeng/p/11268577.html

    展开全文
  • 关于时间序列中非参数回归方法的一些资料关于时间序列中非参数回归方法的一些资料
  • 多元多参数线性回归分析的资料。一般的书上只讲了线性回归,对线性回归提到较少,所以是一个难得的资料
  • LOESS局部加权非参数回归

    万次阅读 2017-10-14 21:12:43
    · 非参数回归 · 1. 采用非参数回归的必要性: 一般来讲两个变量之间的关系有时候是非常微妙的,仅仅用简单的直线、曲线参数方程模型是远远不够的,所以有必要采用非参数回归。   2. 非参数回归的特点 关于...

    ·  非参数回归  ·


    1. 采用非参数回归的必要性:

    一般来讲两个变量之间的关系有时候是非常微妙的,仅仅用简单的直线、曲线参数方程模型是远远不够的,所以有必要采用非参数回归。

     

    2. 非参数回归的特点

    • 关于两个变量的关系探索是开放式的,不套用任何现成的数学函数。
    • 所你和的曲线可以很好地描述变量之间的细微变化
    • 非参数回归提供的是万能的拟合曲线,不管多么复杂的曲线关系都能进行成功的拟合。

    3. 非参数回归对比参数回归的优点

    下面这幅图就能比较好的说明问题,x与y的关系,如果用参数模型估计,模拟出来的模型就一定是要么线性的,要么曲线的。不会模拟出又具有线性的部分,又具有非线性的部分。

     

     

     

     

     

     

    ·  LOESS局部加权回归  ·


    1. 是一种非参数回归。

    2. 1979年CLEVELAND首创

    3. 使用加权最小平方法进行局部拟合

     

    计算点(x6, y6)的LOESS平滑值的方法如下:

    • 以x6为中心确定一个区间,宽度可灵活掌握
    • 定义区间内所有点的权数,权数由权数函数确定
    • 对条形内的散点拟合一条直线
    • 拟合值y6是x=x6处y的拟合值

     

     

    下图为权数函数曲线:

     

     

    任意一点(xi, yi)的权数是xi处权数函数曲线的高度。任意一点对于拟合直线的影响大小,依赖于对应的权数。接近x6的点在决定拟合线中扮演主要角色,条形外的点,不起到作用。

     

     

    通过a, b, c, d四个步骤就得到一个x6处的平滑值(x6, y6),对每个点都进行一遍,得到一组平滑点(xi, yi)。将i=1到20这些平滑点用短直线连接起来,就得到LOESS回归曲线。

     

    欢迎关注微信公众号“数据分析师”手记

    展开全文
  • 与参数回归相对的非参数回归,这种模型对变量分布等假定并不是很严等,因此可以说扩展了参数回归的应用范围。但是非参数回归的局限性在于,在存在较多的解释变量时,很容易出现所谓的“维度灾难”,像方差的急剧增大...


           参数回归是我们最长用的模型。与参数回归相对的非参数回归,这种模型对变量分布等假定并不是很严等,因此可以说扩展了参数回归的应用范围。但是非参数回归的局限性在于,在存在较多的解释变量时,很容易出现所谓的“维度灾难”,像方差的急剧增大等现象。

        这类模型包括实例回归,局部加权回归(LOESS)和样条回归。非参数方法一般适用于低维空间(较少的解释变量)。该局部加权回归曲线是利用点附近的点信息,使用的点信息越多,曲线与拟合直线越接近;使用的点信息越少,与散点越吻合。在变量间非线性关联较强的情况下,相比普通回归,通常更稳健一些。

        介于参数回归与非参回归之间的就是半参数模型,这种模型结合了前面两种参数模型的诸多优点,例如使用的连接函数、分析形式多样化,而且光滑参数值的确认均可以使用广义交叉验证技术。其应用情景首先是因变量在不符合正态分布时,该模型的结果仍然很稳定,我们可以选择不同的分布形式等。非参数模型的另一个典型应用是可以对具有截尾数据的资料进行生存预测。例如,普通生存分析,并没有很好的解决多解释变量的情况,并且对分布有特定的需求,而且当相关假定违反时,往往会对模型产生很大的影响,半参数生存分析回归模型克服了上述参数法的诸多局限,可以灵活地处理许多未知分布与不服从参数分布类型的资料。

        另外,一个比较容易混淆的是广义可加模型(使用连接函数的可加模型),与广义线性模型很相似,主要使用非参估计的方法。

    本文来自: 人大经济论坛 SPSS论坛 版,详细出处参考:http://bbs.pinggu.org/forum.php?mod=viewthread&tid=2163476&page=1


    【机器学习】参数和非参数机器学习算法

    什么是参数机器学习算法并且它与非参数机器学习算法有什么不同?

    本文中你将了解到参数和非参数机器学习算法的区别。

    让我们开始吧。

    学习函数

    机器学习可以总结为学习一个函数(f)(f),其将输入变量(X)(X)映射为输出变量(Y)(Y)

    Y=f(x)Y=f(x)

    算法从训练数据中学习这个映射函数。

    函数的形式未知,于是我们机器学习从业者的任务是评估不同的机器学习算法,然后选择好的能拟合潜在的目标函数的算法。

    不同的算法对目标函数的形式和学习的方式有不同的估计和偏差。

    参数机器学习算法

    假设可以极大地简化学习过程,但是同样可以限制学习的内容。简化目标函数为已知形式的算法就称为参数机器学习算法。

    通过固定大小的参数集(与训练样本数独立)概况数据的学习模型称为参数模型。不管你给与一个参数模型多少数据,对于其需要的参数数量都没有影响。
    — Artificial Intelligence: A Modern Approach,737页

    参数算法包括两部分:

    选择目标函数的形式。
    从训练数据中学习目标函数的系数。

    对于理解目标函数来讲,最简单的就是直线了,这就是线性回归里面采用的形式:

    b_0+b_1<em>x_1+b_2</em>x_2=0b0+b1<em>x1+b2</em>x2=0

    其中b_0b0b_1b1b_2b2是直线的系数,其影响直线的斜度和截距,x_1x1x_2x2是两个输入变量。

    把目标函数的形式假设为直线极大地简化了学习过程。那么现在,我们需要做的是估计直线的系数并且对于这个问题预测模型。

    通常来说,目标函数的形式假设是对于输入变量的线性联合,于是参数机器学习算法通常被称为“线性机器学习算法”。

    那么问题是,实际的未知的目标函数可能不是线性函数。它可能接近于直线而需要一些微小的调节。或者目标函数也可能完全和直线没有关联,那么我们做的假设是错误的,我们所做的近似就会导致差劲的预测结果。

    参数机器学习算法包括:

    • 逻辑回归

    • 线性成分分析

    • 感知机

    参数机器学习算法有如下优点:

    • 简洁:理论容易理解和解释结果

    • 快速:参数模型学习和训练的速度都很快

    • 数据更少:通常不需要大量的数据,在对数据的拟合不很好时表现也不错

    参数机器学习算法的局限性:

    • 约束:以选定函数形式的方式来学习本身就限制了模型

    • 有限的复杂度:通常只能应对简单的问题

    • 拟合度小:实际中通常无法和潜在的目标函数吻合

    非参数机器学习算法

    对于目标函数形式不作过多的假设的算法称为非参数机器学习算法。通过不做假设,算法可以自由的从训练数据中学习任意形式的函数。

    当你拥有许多数据而先验知识很少时,非参数学习通常很有用,此时你不需要关注于参数的选取。
    — Artificial Intelligence: A Modern Approach,757页

    非参数理论寻求在构造目标函数的过程中对训练数据作最好的拟合,同时维持一些泛化到未知数据的能力。同样的,它们可以拟合各自形式的函数。

    对于理解非参数模型的一个好例子是k近邻算法,其目标是基于k个最相近的模式对新的数据做预测。这种理论对于目标函数的形式,除了相似模式的数目以外不作任何假设。

    一些非参数机器学习算法的例子包括:

    • 决策树,例如CART和C4.5

    • 朴素贝叶斯

    • 支持向量机

    • 神经网络

    非参数机器学习算法的优势:

    • 可变性:可以拟合许多不同的函数形式。

    • 模型强大:对于目标函数不作假设或者作微小的假设

    • 表现良好:对于预测表现可以非常好。

    非参数机器学习算法局限性:

    • 需要更多数据:对于拟合目标函数需要更多的训练数据

    • 速度慢:因为需要训练更多的参数,训练过程通常比较慢。

    • 过拟合:有更高的风险发生过拟合,对于预测也比较难以解释。

    延伸阅读

    对于参数和非参数机器学习算法的不同以下是一些资源。

    书籍

    An Introduction to Statistical Learning: with Applications in R,章节2
    Artificial Intelligence: A Modern Approach,章节18

    网页

    机器学习中使用非参数理论的好处是什么? Quora
    机器学习中使用非参数理论的缺点是什么? Quora
    非参数统计 维基百科
    参数统计维基百科
    参数vs非参数 StackExchange

    总结

    本文中你了解到了参数和非参数机器学习算法的不同之处。

    你学习到,参数理论对于映射函数做很多的假设,这使得模型易于训练,需要的数据量少,同时也使得模型能力有限。

    非参数理论对于目标函数的形式不作过多的假设,这使得模型需要更多的数据来训练,并且模型拥有高复杂度,同时也使得模型能力很强。

    关于参数和非参数机器学习算法,你有什么问题吗?欢迎留下评论,我将竭力解答。

    关于偏差、方差和偏差-方差的权衡,你有什么问题吗?欢迎留下评论,我将竭力解答。

    原文链接:[Parametric and Nonparametric Machine Learning Algorithms(http://machinelearningmastery.com/parametric-and-nonparametric-machine-learning-algorithms/ “Parametric and Nonparametric Machine Learning Algorithms”)

    
    展开全文
  • 核密度估计和非参数回归

    千次阅读 2020-12-14 09:06:45
    你可能听说过核密度估计(KDE:kernel density estimation)或非参数回归(non-parametric regression)。你甚至可能在不知不觉的情况下使用它。比如在Python中使用seaborn或plotly时,distplot就是这样,在默认情况下...
  • 纯非线性回归模型参数估计与非纯非线性回归模型参数估计的对比差异
  • 非参数统计之局部多项式回归

    千次阅读 2020-04-26 01:15:24
    局部多项式回归是非参数回归的一种方法,主要是由于Nadaraya−WatsonNadaraya-WatsonNadaraya−Watson估计方法的加权是基于整个样本点,而且往往在边界上的估计效果并不理想。 局部线性回归 解决上述问题的办法就是...
  • Matlab一元线性回归分析

    万次阅读 2018-12-27 21:11:11
    Matlab一元线性回归分析的分析步骤一元线性回归分析的步骤类似: 大体分为以下几步: (1)绘制x,y的散点图,分析散点图的走势; (2)根据散点图的走势,确定回归方程的具体形式,特别是参数个数的设定和...
  • 逻辑回归参数说明

    千次阅读 2018-10-02 13:28:22
    逻辑回归官网参数说明 根据日常的经验,一般需要调试的是第一个参数penalty,即惩罚项以及通过迭代选择最优的正则化系数c   其他参数如下: penalty:惩罚项,str类型,可选参数为l1和l2,默认为l2。用于指定...
  • MATLAB实现多元线性回归

    万次阅读 多人点赞 2019-01-10 16:25:36
    简单多元线性回归算例 现有以下数据 i x1 x2 x3 y 1 1.1 2 3.2 10.1 2 1 2 3.2 10.2 3 1.2 1.8 3 10 4 1.1 1.9 2.9 10.1 5 0.9 2.1 2.9 10 假如有以下模型: y=ax1+bx2+cx32y=ax_1+bx_2+cx_3^2y...
  • 非参数回归和相关统计检验

    千次阅读 2015-05-14 09:19:19
    & Tibshirani发表以后,一直被应用于许多领域,如环境科学、医学、生物统计,在方法上也得到发展,如Amato等人(2002)提出的基于傅立叶变换最优逼近模式估计,Sardy(2003)基于线性小波估计方法,范剑青2004年...
  • 数学建模-多元线性回归(Stata实现)

    万次阅读 多人点赞 2019-09-24 17:31:53
    回归分析是数据分析中最基础也是最重要的分析工具,绝大多数的数据分析问题,都可以使用回归的思想来解决。回归分析的任务就是, 通过研究自变量X和因变量Y的相关关系,尝试去解释Y的形成机制,进而达到通过X去预测Y...
  • 菜鸟的数学建模之路(二):线性与非线性回归

    千次阅读 多人点赞 2019-09-09 15:35:23
    回归分析 根据回归方法中因变量的个数和回归函数的类型(线性或非线性),可将回归...重点说明:关于线性与非线性回归,很多知识点我总结在了代码里面,每段代码开头会有很多说明,参数说明和知识点,建议看的时候多...
  • LASSO回归

    千次阅读 2019-09-27 19:23:29
    迭代算法,坐标轴下降法是沿着坐标轴下降,梯度下降是沿着梯度的负方向下降,对于p维参数的可微凸函数J(B)而言,如果存在一点B,使得函数J(B)在每个坐标轴上均达到最小值,则J(B)就是B上的全局最小值。 坐标...
  • 多元线性回归

    千次阅读 2019-12-29 21:45:18
    类似的使用最小二乘法进行参数估计 : 2.拟合优度指标 标准误差:对y值模型估计值之间的离差的一种度量。其计算公式为: 3.置信范围 置信区间的公式为:置信区间= 其中, 是自由度为 的 统计量数值...
  • 【机器学习】广义回归神经网络(GRNN)的python实现

    万次阅读 多人点赞 2018-12-12 21:29:34
    【机器学习】广义回归神经网络(GRNN)的python实现一、广义回归神经网络原理1.1、GRNNPNN的关系2.2、GRNN的网络结构二、广义回归神经网络的优点不足2.1、优点2.2、不足三、GRNN的python实现参考资料 ...
  • 可化为线性回归的曲线回归 理论 例如这样的多次方 可以 就可以使其化成线性回归。转化为线性模型,再使用lm() 实例 ...df = read.csv("F:\\learning_kecheng\\huigui\\9线性回归\\data9.1.c...
  • 用stata进行回归参数解释

    千次阅读 2020-07-23 10:10:16
    Model为回归项:对应为回归平方和和回归均方差 Residual残差项,对应为残差平方和、残差自由度和残差均方和: R-squared为决定系数: Adj R-squared为调整自由度后的决定系数: Total为残差均方和的根号; Coef回归系数; ...
  • 回归分析之参数估计

    千次阅读 2019-10-11 16:06:59
    参数估计 ...区间估计(置信区间的估计):依据抽取的样本,根据一定的正确度精确度的要求,构造出适当的区间,作为总体分布的未知参数参数的函数的真值所在范围的估计。例如人们常说的有百分...
  • 参数方法,半参数方法,非参数方法

    千次阅读 2018-09-13 17:28:53
    amp;amp;tid=2163476&amp;amp;page=1 参数方法,假定概率分布,只来估计少量参数。 半参数方法,对数据分组,每组采用一种概率分布的假设,最后使用混合概率分布。 非参数方...
  • Matlab1stOpt多元线性回归

    千次阅读 2020-10-29 21:08:46
    Matlab1stOpt多元线性回归,其中1stOpt无需设置初始值。
  • 在利用SPSS进行线性回归分析的操作过程中,在给定函数模型的条件下,需要给函数赋初值,按照教程(单击“参数”按键,弹出“线性回归参数”对话框,设置参数的开始值a=13,b=-6.5,c=-1.5)进行操作时,发现开始...
  • 面板回归指南

    万次阅读 多人点赞 2018-12-26 12:50:18
    随机效应模型估计:3.Hausman检验附录:stata中面板回归的主要命令与参数 面板数据 面板数据有两个下脚标: 不同个体i 不同时间t 其形式如下: 面板回归包含不可观测的个体异质性αi\alpha_iαi​ 根据αi\alpha_...
  • logistic回归

    千次阅读 2018-10-28 19:04:43
    值得一提的是,logistic回归跟多元线性回归有很多相似之处,模型形式也都是wx+b,w、b为要求的参数,不同点在于因变量不同,logistic回归通过logistic函数L将wx+b对应一个隐形状态p,即p=L(wx+b),若L是logistic...
  • sklearn中逻辑回归参数调整

    万次阅读 2017-09-14 20:15:16
    sklearn中逻辑回归参数http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html参数解释:http://blog.csdn.net/sun_shengyun/article/details/53811483逻辑回归参数...
  • 多元线性回归分析理论详解及SPSS结果分析

    万次阅读 多人点赞 2017-05-17 16:23:23
    当影响因变量的因素是多个时候,这种一个变量同时多个变量的回归问题就是多元回归,分为:多元线性回归和多元线性回归。这里直说多元线性回归。对比一元线性回归: 1.1多元回归模型: y=β0+β1x1+β2x2+…+β...
  • 逻辑回归:逻辑回归中的参数

    千次阅读 2020-03-24 21:23:29
    逻辑回归参数详细说明 参数说明如下: penalty:惩罚项,str类型,可选参数为l1和l2,默认为l2。用于指定惩罚项中使用的规范。newton-cg、sag和lbfgs求解算法只支持L2规范。L1G规范假设的是模型的参数满足拉普拉斯...
  • 在这篇文章中,我们将首先看看Lasso和Ridge回归中一些常见的错误,然后我将描述我通常采取的步骤来优化超参数。代码是用Python编写的,我们主要依赖scikit-learn。本文章主要关注Lasso的例子,但其基本理论Ridge...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 198,146
精华内容 79,258
关键字:

参数回归与非参数回归