精华内容
下载资源
问答
  • 以实测数据为依据,采用IBM SPSS Statistics 24.0软件进行Langmuir方程参数线性回归与非线性回归的对比分析。结果表明:线性回归方法不满足相应曲线因变量的残差平方和最小,线性回归方法中对变量由无理数到有限小数的...
  • 文档整理了概率密度估计的方法以及各种估计方法的一些性质,主要介绍了非参数估计的方法。同时对文中介绍的方法进行了证明。其次,对非参数线性回归方法进行了梳理。
  • 参数回归相对的非参数回归,这种模型对变量分布等假定并不是很严等,因此可以说扩展了参数回归的应用范围。但是非参数回归的局限性在于,在存在较多的解释变量时,很容易出现所谓的“维度灾难”,像方差的急剧增大...


           参数回归是我们最长用的模型。与参数回归相对的非参数回归,这种模型对变量分布等假定并不是很严等,因此可以说扩展了参数回归的应用范围。但是非参数回归的局限性在于,在存在较多的解释变量时,很容易出现所谓的“维度灾难”,像方差的急剧增大等现象。

        这类模型包括实例回归,局部加权回归(LOESS)和样条回归。非参数方法一般适用于低维空间(较少的解释变量)。该局部加权回归曲线是利用点附近的点信息,使用的点信息越多,曲线与拟合直线越接近;使用的点信息越少,与散点越吻合。在变量间非线性关联较强的情况下,相比普通回归,通常更稳健一些。

        介于参数回归与非参回归之间的就是半参数模型,这种模型结合了前面两种参数模型的诸多优点,例如使用的连接函数、分析形式多样化,而且光滑参数值的确认均可以使用广义交叉验证技术。其应用情景首先是因变量在不符合正态分布时,该模型的结果仍然很稳定,我们可以选择不同的分布形式等。非参数模型的另一个典型应用是可以对具有截尾数据的资料进行生存预测。例如,普通生存分析,并没有很好的解决多解释变量的情况,并且对分布有特定的需求,而且当相关假定违反时,往往会对模型产生很大的影响,半参数生存分析回归模型克服了上述参数法的诸多局限,可以灵活地处理许多未知分布与不服从参数分布类型的资料。

        另外,一个比较容易混淆的是广义可加模型(使用连接函数的可加模型),与广义线性模型很相似,主要使用非参估计的方法。

    本文来自: 人大经济论坛 SPSS论坛 版,详细出处参考:http://bbs.pinggu.org/forum.php?mod=viewthread&tid=2163476&page=1


    【机器学习】参数和非参数机器学习算法

    什么是参数机器学习算法并且它与非参数机器学习算法有什么不同?

    本文中你将了解到参数和非参数机器学习算法的区别。

    让我们开始吧。

    学习函数

    机器学习可以总结为学习一个函数(f)(f),其将输入变量(X)(X)映射为输出变量(Y)(Y)

    Y=f(x)Y=f(x)

    算法从训练数据中学习这个映射函数。

    函数的形式未知,于是我们机器学习从业者的任务是评估不同的机器学习算法,然后选择好的能拟合潜在的目标函数的算法。

    不同的算法对目标函数的形式和学习的方式有不同的估计和偏差。

    参数机器学习算法

    假设可以极大地简化学习过程,但是同样可以限制学习的内容。简化目标函数为已知形式的算法就称为参数机器学习算法。

    通过固定大小的参数集(与训练样本数独立)概况数据的学习模型称为参数模型。不管你给与一个参数模型多少数据,对于其需要的参数数量都没有影响。
    — Artificial Intelligence: A Modern Approach,737页

    参数算法包括两部分:

    选择目标函数的形式。
    从训练数据中学习目标函数的系数。

    对于理解目标函数来讲,最简单的就是直线了,这就是线性回归里面采用的形式:

    b_0+b_1<em>x_1+b_2</em>x_2=0b0+b1<em>x1+b2</em>x2=0

    其中b_0b0b_1b1b_2b2是直线的系数,其影响直线的斜度和截距,x_1x1x_2x2是两个输入变量。

    把目标函数的形式假设为直线极大地简化了学习过程。那么现在,我们需要做的是估计直线的系数并且对于这个问题预测模型。

    通常来说,目标函数的形式假设是对于输入变量的线性联合,于是参数机器学习算法通常被称为“线性机器学习算法”。

    那么问题是,实际的未知的目标函数可能不是线性函数。它可能接近于直线而需要一些微小的调节。或者目标函数也可能完全和直线没有关联,那么我们做的假设是错误的,我们所做的近似就会导致差劲的预测结果。

    参数机器学习算法包括:

    • 逻辑回归

    • 线性成分分析

    • 感知机

    参数机器学习算法有如下优点:

    • 简洁:理论容易理解和解释结果

    • 快速:参数模型学习和训练的速度都很快

    • 数据更少:通常不需要大量的数据,在对数据的拟合不很好时表现也不错

    参数机器学习算法的局限性:

    • 约束:以选定函数形式的方式来学习本身就限制了模型

    • 有限的复杂度:通常只能应对简单的问题

    • 拟合度小:实际中通常无法和潜在的目标函数吻合

    非参数机器学习算法

    对于目标函数形式不作过多的假设的算法称为非参数机器学习算法。通过不做假设,算法可以自由的从训练数据中学习任意形式的函数。

    当你拥有许多数据而先验知识很少时,非参数学习通常很有用,此时你不需要关注于参数的选取。
    — Artificial Intelligence: A Modern Approach,757页

    非参数理论寻求在构造目标函数的过程中对训练数据作最好的拟合,同时维持一些泛化到未知数据的能力。同样的,它们可以拟合各自形式的函数。

    对于理解非参数模型的一个好例子是k近邻算法,其目标是基于k个最相近的模式对新的数据做预测。这种理论对于目标函数的形式,除了相似模式的数目以外不作任何假设。

    一些非参数机器学习算法的例子包括:

    • 决策树,例如CART和C4.5

    • 朴素贝叶斯

    • 支持向量机

    • 神经网络

    非参数机器学习算法的优势:

    • 可变性:可以拟合许多不同的函数形式。

    • 模型强大:对于目标函数不作假设或者作微小的假设

    • 表现良好:对于预测表现可以非常好。

    非参数机器学习算法局限性:

    • 需要更多数据:对于拟合目标函数需要更多的训练数据

    • 速度慢:因为需要训练更多的参数,训练过程通常比较慢。

    • 过拟合:有更高的风险发生过拟合,对于预测也比较难以解释。

    延伸阅读

    对于参数和非参数机器学习算法的不同以下是一些资源。

    书籍

    An Introduction to Statistical Learning: with Applications in R,章节2
    Artificial Intelligence: A Modern Approach,章节18

    网页

    机器学习中使用非参数理论的好处是什么? Quora
    机器学习中使用非参数理论的缺点是什么? Quora
    非参数统计 维基百科
    参数统计维基百科
    参数vs非参数 StackExchange

    总结

    本文中你了解到了参数和非参数机器学习算法的不同之处。

    你学习到,参数理论对于映射函数做很多的假设,这使得模型易于训练,需要的数据量少,同时也使得模型能力有限。

    非参数理论对于目标函数的形式不作过多的假设,这使得模型需要更多的数据来训练,并且模型拥有高复杂度,同时也使得模型能力很强。

    关于参数和非参数机器学习算法,你有什么问题吗?欢迎留下评论,我将竭力解答。

    关于偏差、方差和偏差-方差的权衡,你有什么问题吗?欢迎留下评论,我将竭力解答。

    原文链接:[Parametric and Nonparametric Machine Learning Algorithms(http://machinelearningmastery.com/parametric-and-nonparametric-machine-learning-algorithms/ “Parametric and Nonparametric Machine Learning Algorithms”)

    
    展开全文
  • 基于非参数回归的外汇储备社会消费品零售总额关系实证分析,宗钦原,钟波,本文研究了改革开放之后(1979年至2013年)我国外汇储备和社会消费品零售总额之间的关系,分别用参数回归方法和非参数回归方法对其�
  • 论文研究-异方差非参数回归模型均值方差变点的小波估计应用.pdf, 金融市场中,受突发事件的影响反映资产平均收益的均值函数和反映资产收益波动的方差函数都有可能...
  • 模型线性回归模型可以看成线性回归模型的特例:其中f(x)为未知的回归函数。 参数方法:假定f(x)具有某种形式,如线性回归,二次多项式回归,指数模型等等二次多项式回归可以令X1=x,X2=x方,变成二元回归模型来解决...

    本笔记中原始数据及代码均来源于李东风先生的R语言教程,在此对李东风先生的无私分享表示感谢。

    模型

    线性回归模型可以看成非线性回归模型的特例:

    b35d68c7b23875819fdd68a539ac0080.png

    其中f(x)为未知的回归函数。 参数方法:假定f(x)具有某种形式,如线性回归,二次多项式回归,指数模型等等

    二次多项式回归可以令X1=x,X2=x方, 变成二元回归模型来解决。 指数模型可以令x=lnY, 模型化为z=a+bx。 有一些曲线模型可以通过变换化为线性回归。

    在多元情形, 一般的非线性回归模型为

    e7ad0d7f00823e255f14af0a97db0486.png

    但是这样可选的模型就过于复杂, 难以把握。 比较简单的是不考虑变量之间交互作用的可加模型:

    d38fd62f0b84b02dae40b524fca11e12.png

    其中fj(·)是未知的回归函数, 需要满足一定的光滑性条件。 fj(·)可以是参数形式的, 比如二次多项式、三次多项式、阶梯函数等。 较好的一种选择是使用三次样条函数。

    样条平滑

    为了得到一般性的Y与X的曲线关系f(x)的估计, 可以使用样条函数。 三次样条函数将实数轴用若干个节点(knots){zk}分成几段, 每一段上f^(x)为三次多项式, 函数在节点处有连续的二阶导数。 样条函数是光滑的分段三次多项式。

    用样条函数估计f(x)的准则是曲线接近各观测值点(xi,yi),同时曲线足够光滑。 在R中用smooth.spline函数进行样条曲线拟合。 取每个自变量xi处为一个节点, 对于给定的某个光滑度/模型复杂度系数值λ, 求函数f(x)使得

    1db4e4a22e7668d6294e5e135565c96a.png

    λ越大, 所得的曲线越光滑。 smooth.spline()函数可以通过交叉验证方法自动取得一个对于预测最优的光滑参数λ值, 也可以通过df=选项指定一个等效自由度, 等效自由度越大, 模型越复杂, 曲线光滑程度越低。 df值相当于多元线性回归中的自变量个数。

    set.seed(1)nsamp 30x -10, xx -10, x sort(x)y 10*plot(x, y)curve(10*sin(x/10*pi)^2, -10, 10, add=TRUE, lwd=2)library(splines)res lines(spline(x, res$y), col="red")res2 2, span=lines(xx, predict(res2, newdata=data.frame(x=xx)),       col="blue")legend("top", lwd=c(2,1,1),        col=c("black", "red", "blue"),       legend=c("真实函数关系", "样条平滑结果", "局部线性拟合"))

    fa2471e125f81a73367f06c51ce61564.png

    其中res的元素y为拟合值,用spline(x,y)从一组散点输出 光滑曲线以便用lines()函数绘图。 R函数splines(x,y)不是做样条平滑, 而是做样条插值, 其结果是在原始的自变量x范围内产生等间隔距离的格子点值, 输出包含格子点上的样条插值x和y坐标的列表。 样条平滑曲线不需要穿过输入的各个散点, 但是插值则需要穿过输入的各个散点。 R函数approx(x,y)用线性插值方法产生线性插值后的连续函数在等间隔的横坐标上的坐标值。

    往期回顾

    R相关与回归学习笔记(一)——相关分析

    R相关与回归学习笔记(二)——相关与因果、相关系数大小、相关系数的检验

    R相关与回归学习笔记(三)——相关阵、一元回归分析

    R相关与回归学习笔记(五)——回归有效性

    R相关与回归学习笔记(六)——R程序

    R相关与回归学习笔记(七)——回归诊断(一)

    R相关与回归学习笔记(七)——回归诊断(二)

    R相关与回归学习笔记(八)——回归诊断(三)

    R相关与回归学习笔记(九)——预测区间、控制、多元线性回归模型

    R相关与回归学习笔记(十)——参数估计、R的多元回归程序(一)

    R相关与回归学习笔记(十一)——模型的检验

    R相关与回归学习笔记(十二)——线性关系检验、单个斜率项的显著性检验

    R相关与回归学习笔记(十三)——回归自变量筛选

    R相关与回归学习笔记(十四)——哑变量与变截距项的模型(一)

    R相关与回归学习笔记(十五)——哑变量与变截距项的模型(二)

    R相关与回归学习笔记(十六)——残差诊断(一)

    R相关与回归学习笔记(十七)——残差诊断(二)

    R相关与回归学习笔记(十八)——残差诊断(三)

    R相关与回归学习笔记(十八)——多重共线性

    R相关与回归学习笔记(十九)——强影响点分析、过度拟合示例(一)

    R相关与回归学习笔记(二十)——强影响点分析、过度拟合示例(二)

    R相关与回归学习笔记(二十一)——过度拟合示例(三)

    R相关与回归学习笔记(二十二)——嵌套模型的比较

    R相关与回归学习笔记(二十三)——拟合、点预测

    R相关与回归学习笔记(二十四)——均值的置信区间、个别值的预测区间

    R相关与回归学习笔记(二十五)——利用线性回归模型做曲线拟合(一)

    R相关与回归学习笔记(二十六)——利用线性回归模型做曲线拟合(二)

    R相关与回归学习笔记(二十七)——利用线性回归模型做曲线拟合(三)

    R相关与回归学习笔记(二十八)——利用线性回归模型做曲线拟合(四)

    R相关与回归学习笔记(二十九)——利用线性回归模型做曲线拟合(五)

    R相关与回归学习笔记(三十)——利用线性回归模型做曲线拟合(六)

    R相关与回归学习笔记(三十一)——分组建立多个模型(一)

    R相关与回归学习笔记(三十二)——分组建立多个模型(二)

    展开全文
  • 纯非线性回归模型参数估计与非纯非线性回归模型参数估计的对比差异
  • 多元线性回归:含有多个特征及多个自变量(输入) 公式: 参数: 损失函数: 梯度下降: Repeat{ (j=0,1,2,3,4,...,n) } 下面是未使用sklearn的代码 import numpy as np import matplotlib.pyplot as ...
    • 多元线性回归:含有多个特征及多个自变量(输入)
    • 公式:\bg_white \small h_{\theta}(x)=\theta^TX=\theta_0x_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n
    • 参数:\theta_0,\theta_1,\theta_2...\theta_n
    • 损失函数:J(\theta_0,\theta_1,...,\theta_n)=\tfrac{1}{2m} \sum_{i=1}^{m}(h_\theta(x_i)-y_i)^2
    • 梯度下降:

      Repeat{
         
         \theta_j:=\theta_j-\alpha\frac{\partial }{\partial \theta_j}J(\theta_0,\theta_1...\theta_n)(j=0,1,2,3,4,...,n)
         }

    下面是未使用sklearn的代码

    import numpy as np
    import matplotlib.pyplot as plt
    from mpl_toolkits.mplot3d import Axes3D #3D绘图工具
    
    #加载数据文件
    data = np.genfromtxt("Delivery.csv",delimiter=',')
    
    #数据分类,将最后一列的值赋给y_data 前两列的值赋给x_data
    x_data = data[:,:-1]#第0行到最后一行 第一列到倒数第一列(不包括倒数第一列)
    y_data = data[:,-1]#第0行到最后一行 最后一列
    
    #学习率
    lr = 0.00006
    #参数
    theta0 = 0
    theta1 = 0
    theta2 = 0
    #最大迭代次数
    epochs = 1000
    #最小二乘法
    def compute_error(theta0, theta1, theta2, x_data, y_data):
        totalError = 0
        for i in range(len(x_data)):
            totalError += (y_data[i] - (theta0 + theta1 * x_data[i,0] + theta2 * x_data[i,1])) ** 2  
        return totalError / float(len(x_data))
    
    
    #梯度下降法优化
    def gradient_descent_runner(x_data, y_data, lr, theta0, theta1, theta2, epochs):
        #计算总数量
        m = len(x_data)
        for i in range(epochs):
            theta0_grad = 0
            theta1_grad = 0
            theta2_grad = 0
            
            for j in range(0,len(x_data)):
                theta0_grad += (1/m)*(theta0 + theta1 * x_data[j,0] + theta2 * x_data[j,1] - y_data[j])
                theta1_grad += (1/m)*(theta0 + theta1 * x_data[j,0] + theta2 * x_data[j,1] - y_data[j]) * x_data[j,0] 
                theta2_grad += (1/m)*(theta0 + theta1 * x_data[j,0] + theta2 * x_data[j,1] - y_data[j]) * x_data[j,1] 
            theta0 = theta0- lr * theta0_grad
            theta1 = theta0- lr * theta1_grad
            theta2 = theta0- lr * theta2_grad
        return theta0, theta1, theta2
    
    #打印数据
    print("Starting theta0 = {0}, theta1 = {1},theta2 = {2}, error = {3}".
          format(theta0, theta1, theta2, compute_error(theta0, theta1, theta2, x_data, y_data)))
    print("Running...")
    theta0, theta1, theta2 = gradient_descent_runner(x_data, y_data, lr, theta0, theta1, theta2, epochs)
    print(" After {0}, theta0 = {1}, theta1 = {2},theta2 = {3}, error = {4}".
          format(epochs, theta0, theta1, theta2, compute_error(theta0, theta1, theta2, x_data, y_data)))
    
    ax = plt.figure().add_subplot(111, projection = '3d')
    ax.scatter(x_data[:,0], x_data[:,1], y_data, c = 'r', marker = 'o', s = 100)#点为红色的三角形
    x0 = x_data[:,0]
    x1 = x_data[:,1]
    #生成网络矩阵
    x0, x1 = np.meshgrid(x0, x1)
    z = theta0 + x0*theta1 + x1*theta2
    #画3D图
    ax.plot_surface(x0, x1, z)
    #设置坐标轴
    ax.set_xlabel('Miles')
    ax.set_ylabel('Num of Deliveries')
    ax.set_zlabel('Time')
    
    plt.show()
     

    打印数据

    Starting theta0 = 0, theta1 = 0,theta2 = 0, error = 47.279999999999994
    Running...
     After 1000, theta0 = 0.07789165936149452, theta1 = 0.07829960706904125,theta2 = 0.07794715536865685, error = 0.7697147039108087
    
    运行结果图
    


    • 使用sklearn—多元线性回归
      import numpy as np
      import matplotlib.pyplot as plt
      from mpl_toolkits.mplot3d import Axes3D
      from sklearn import linear_model
      
      #加载数据
      data = np.genfromtxt("Delivery.csv",delimiter=',')
      #数据分割
      x_data = data[:,:-1]
      y_data = data[:,-1]
      
      model = linear_model.LinearRegression()
      model.fit(x_data, y_data)
      
      #系数
      print("coefficients: ",model.coef_)
      
      #截距
      print("intercept: ",model.intercept_)
      
      #测试
      x_test = [[102,4]]
      predict = model.predict(x_test)
      print("predict: ",predict
      
      ax = plt.figure().add_subplot(111, projection = '3d')
      ax.scatter(x_data[:,0], x_data[:,1], y_data, c = 'r', marker = 'o', s = 100)#点为红色的三角形
      x0 = x_data[:,0]
      x1 = x_data[:,1]
      #生成网络矩阵
      x0, x1 = np.meshgrid(x0, x1)
      z = model.intercept_ + x0*model.coef_[0] + x1*model.coef_[1]
      #画3D图
      ax.plot_surface(x0, x1, z)
      #设置坐标轴
      ax.set_xlabel('Miles')
      ax.set_ylabel('Num of Deliveries')
      ax.set_zlabel('Time')
      
      plt.show()




       

    • 可以看出两个图还是有一些不一样,主要是由于sklearn库 使用的是标准方程法,我们使用是梯度下降法。

    展开全文
  • 1、参数模型(parametric models) 在机器学习中,有一组训练数据 ,,通常都会先提出一个假设,然后通过训练这个假设让不断接近数据的真实的函数(也叫映射函数)。 注意这个真实的函数是未知的,我们要做的只是...

    1、参数模型(parametric models

    在机器学习中,有一组训练数据 X(x_1,x_2,...x_n)Y(y_1,y_2,...y_n),通常都会先提出一个假设 H,然后通过训练这个假设让 H 不断接近数据的真实的函数 f (也叫映射函数)。

    注意这个真实的函数是未知的,我们要做的只是不断逼近真实的函数。

    还有假设 H 其实就是一个方程,这个是人为定义的。比如根据数据的分布趋势,选取了线性回归 y=ax+b,则假设函数 H 便是 y=ax+b。这个假设中除了 x,y 是已知的,a,b 均是未知的且 a,b 是假设 H 方程的参数,则将训练数据去拟合该假设即可得到 a,b

    正常来说,参数模型的模型的参数都是固定的,就如上面的线性回归,参数固定为 2 个;对于高斯函数,函数形式是固定的,参数  \mu,\sigma 也是固定的。

    总的来说,若要使用参数模型进行预测,则在用参数模型前就已经知道模型有哪些参数。

    定义:

    In statistics, a parametric model or parametric family or finite dimensional model is a particular class of statistical 

    models. Specifically, a parametric model is a family of probability distributions that has a finite number of 

    parameters.(Wikipedia)

    在统计学中,参数模型通常假设总体(随机变量)服从某一个分布,该分布的一些参数确定(比如正太分布由均值和方差确定),在此基础上构建的模型称为参数模型。

    优点:

    • 简单,这些方法易于理解和解释结果。
    • 学习快,参数模型能快速从数据中学习。
    • 适合数据集少,参数模型不需要很多训练数据仍可以对数据进行拟合尽管效果不佳。

    缺点:

    • 函数约束,通过选择函数形式,这些方法受到指定形式的高度约束(参数模型可以用数学表达式表示出来)。
    • 复杂度低,这些方法更适合于简单的问题。
    • 拟合效果较差,实际上,这些方法不太可能匹配底层映射函数

    2、非参数模型(nonparametric models

    在机器学习中非参数模型不用提出假设函数 H,而是直接对映射函数 f 学习。通过不做假设,他们可以自由地从训练数据中学习任何函数形式。

    如K近邻算法,该算法通过计算训练样本之间的距离来对未知样本分类,在计算过程中只用到训练样本本身的数据,并没有需要拟合才能得到的其他参数。假设已知训练样本是 x_n(x_n^{1},...,x_n^{d})是 d 维数据,未知样本也是 d 维数据 x_m(x_m^{1},...,x_m^{d}),则两者的距离为:

                                           distance(x_n,x_m)=\sum_i^d(|x_n^i-x_m^i|^p)^{1/p}

    上式中的 p 根据采取的距离度量方式自主选取,不需要通过模型训练获得。该方法对映射函数的形式不做任何假设,除了相近的模式可能具有类似的输出变量之外。

    在构造映射函数时,非参数方法寻求对训练数据的最佳拟合,同时保持对未知数据的泛化能力。因此,它们能够适应大量的函数形式。

    定义:

    Non-parametric models differ from parametric models in that the model structure is not specified a priori but is instead 

    determined from data. The term non-parametric is not meant to imply that such models completely lack parameters 

    but that the number and nature of the parameters are flexible and not fixed in advance.(Wikipedia)

    非参数模型对于总体的分布不做任何假设,只是知道总体是一个随机变量,其分布是存在的(分布中也可能存在参数),但是无法知道其分布的形式,更不知道分布的相关参数,只有在给定一些样本的条件下,能够依据非参数统计的方法进行推断。

    注意非参数模型不是说没有参数,只是模型的参数是不固定的且事先没有定义或者这些参数对于我们来说是不可见(不可知)的。

    优点:

    • 灵活,能够适应大量的函数形式(非参数模型不可以用数学表达式表示出来)。
    • 对于底层函数没有假设(或弱假设)
    • 可以产生更高性能的预测模型。

    缺点:

    • 需要更多的训练数据来估计映射函数。
    • 训练要慢得多,因为他们有更多的参数需要训练
    • 训练数据过拟合风险更大,当数据维数较高时,很难对某些特定预测结果做出解释。

    3、半参数模型

    半参数模型作为非参数模型和参数模型之间的一类模型,既继承了非参数模型的灵活性,又继承了参数模型的可解释性,可以进一步改善非参数模型的缺陷。

    4、总结

    下面对一些参数模型和非参数模型进行了总结,供大家参考。

    Parametric Non-parametric Application
    polynomial regression Gaussian processes function approx.
    logistic regression gaussian preocess classifier classification
    mixture models.k-means dirichlet process mixtures clustering
    hidden markov models infinite HMMs time series
    factor analysis/PCA/PMF infiniter latent factor models feature discovery
    Perceptron k-Nearest Neighbors classification
    Naive Bayes Decision Trees like CART and C4.5 回归、分类
    Simple Neural Networks Support Vector Machines 回归、分类
    展开全文
  • 这种算法简化成一个已知的函数形式,这称为参数机器学习算法,简单理解为 对学到的函数方程有特定的形式 -- 比如线性回归模型,就是一次方程的形式,然后通过训练数据学习到具体的参数参模型: 不对所要学习...
  • 作者: 崔颖(中央财经大学) Source: Non-Parametric Regression Discontinuity (Francis,...本篇推文介绍Stata方便实现断点回归 (Regression Discontinuity, RD) 的实用命令rdrobust, 此命令是由哥伦比亚大学 Se...
  • 参数估计、假设检验与回归

    千次阅读 2017-12-25 14:40:58
    参数估计、假设检验统计总体架构 拟合(fitting) ...已知某函数的若干离散函数值{f1,f2,…,fn},通过...如果待定函数是线性,就叫线性拟合或者线性回归,否则叫作线性拟合或线性回归。   参数估计
  • 引言: 1. 我所用的python编译器为:Jupyter。 介绍: Jupyter Notebook是Ipython的升级版,是一个Web应用程序,直接在在浏览器上编写,运行。特别轻量、界面优雅、十分方便。...Shift+Tab 将光标移到参数位置...
  • 2018-03-31更新:生成模型判别模型参数模型:根据预先设计的规则,例如方差损失最小,进行学习,参数模型例子:回归(线性回归、逻辑回归)模型;最好可以看一下或者直接进行一下相关的推导;根据规则,拥有少部分...
  • 针对某矿3煤层赋存条件,...通过统计分析,得出关于煤壁水平位移及顶板下沉采高、工作面长度和工作面支护强度之间的多元线性回归公式,确定了工作面支护强度应在0.8~0.9 MPa,为深部特厚煤层综放开采提供了理论依据。
  • 参数机器学习算法  假设可以最大程度地简化学习...  一种最容易理解目标(映射)函数的形式就是一条直线,用于线性回归:  此处的、和是直线的系数,用于控制直线的截距和斜率,和是两个输入变量。  把目...
  • 昨天将书本的每一章的思维导图图片单独发文,感觉太浪费发文次数。想了想,都放在一篇文章里,能一下子找到很多信息,方便大家连着看完。
  • R语言与非线性回归模型

    千次阅读 2019-11-16 12:41:13
    6.7 线性回归模型 下面列举两个线性模型的例子: 模型(6.52)和(6.53)都是以线性的形式包含参数和。这这种意义下,它们都是线性模型,但它们有本质上的区别。一个可以转化为线性模型,如果对模型...
  • 书名:偏最小二乘回归的线性与非线性方法 作者:王惠文,吴载斌,孟洁 著 出版社:国防工业出版社 偏最小二乘回归分析是从应用领域中提出的一种新型多元数据分析方法。20多年来,它在理论和应用方面都已经得到迅速...
  • 曲线回归非线性回归1曲线回归线性回归可以满足很多数据分析的需要,然而它不能对所有的问题都适用。有时,因变量自变量是通过一个已知或未知的线性函数关系相联系的,尽管有可能通过一些函数转换方法在一定范围内...
  • 我们将在本周的课堂上看到几种用于制定保险费率的平滑技术。首先,假设我们不想使用细分...而且该价格应纯溢价相关,而纯溢价频率(或如前所述)的频率成正比,因为 这里提到概率度量只是为了回想我们可以...
  • 每次比赛都需要查一下,这次直接总结到自己的...%参数矩阵 X=[ones(5,1),x];%产生一个5行一列的矩阵,后接x矩阵 Y=[3.95,5.23,7.6,9.48,11.89]'; [b,bint,r,rint,stats]=regress(Y,X) %b为方程相关系数 %r表示...
  • 估算畦灌土壤入渗参数的线性回归法,王维汉,缴锡云, 将畦灌地表水深水流推进距离按指数函数进行线性最小二乘拟合,并根据水量平衡原理提出了估算土壤入 渗参数的线性回归法。
  • 算法介绍保序回归(isotonic regression)或“单调回归(monotonic regression)”是回归分析的一种,是在单调的函数空间内对给定数据进行非参数估计的回归模型。保序回归在观念上是寻找一组非递减的片段连续线性函数...
  • 这一个系列的笔记和整理希望可以帮助到正在学习非参数统计的同学。我会慢慢更新各个章节的内容。 6 秩相关和分位数回归 6.1 Spearman 秩相关检验 Kendallτ\tauτ 相关检验 6.1.1 Spearman 6.
  • 1. 随机变量的数字特征 0x1:为什么我们需要统计随机变量的数字特征 随机变量的分布函数(或概率函数...在很多实际问题中(特别是一些具体的物理的问题域),从实际问题场景中采样得到的样本集,一般时候都不会...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 607
精华内容 242
关键字:

参数回归与非参数回归