精华内容
下载资源
问答
  • 线性模型

    2017-07-03 19:37:29
    线性模型

    线性模型


    线性回归

      线性回归是线性模型中最基础的问题,有两种推出最小二乘法的方法——误差L2范数最小与假设误差服从正态分布(高斯的元误差理论认为,误差是由元误差叠加而来,由中心极限定理知,多个独立同分布的元误差之和的误差应该服从正态分布)做对权重的最大似然估计。
      容易证明,两种方法导出的结论一致。
      
      下面用L2范数最小的几何意义导出线性回归的最小二乘法。
    这里写图片描述


    最常见的广义线性模型——sigmoids类/softmax激活函数感知器

      sigmoids类/softmax激活函数的感知器是一种线性对数似然比模型,也是最常见的广义线性模型,下面证明,在误差正态分布的假设(同上一段,高斯的元误差理论和中心极限定理保证了这一点)下,可以推出这个激活函数的确对应概率分布。也就解释了神经网络,感知器,logistic回归中sigmoids类/softmax激活函数的理论依据。
      
    这里写图片描述


    LDA

    这里写图片描述

    展开全文
  • 经典线性模型自变量的线性预测就是因变量的估计值。 广义线性模型:自变量的线性预测的函数是因变量的估计值。常见的广义线性模型有:probit模型、poisson模型、对数线性模型等等。对数线性模型里有:logistic ...

            经典线性模型自变量的线性预测就是因变量的估计值。 广义线性模型:自变量的线性预测的函数是因变量的估计值。常见的广义线性模型有:probit模型、poisson模型、对数线性模型等等。对数线性模型里有:logistic regression、Maxinum entropy。本篇是对逻辑回归的学习总结,以及广义线性模型导出逻辑回归的过程。下一篇将是对最大熵模型的学习总结。本篇介绍的大纲如下:

    1、逻辑斯蒂分布,logit转换

    2、在二分类问题中,为什么弃用传统的线性回归模型,改用逻辑斯蒂回归?

    3、逻辑回归模型的求解过程?

    4、实际应用逻辑回归时数据预处理的经验总结。但经验有限,如果有哪位网友这块经验丰富,忘指教,先谢过

    5、为什么我们在实际中,经典线性模型的优化目标函数是最小二乘,而逻辑回归则是似然函数

    6、从最根本的广义线性模型角度,导出经典线性模型以及逻辑回归


    1、逻辑斯蒂分布,logit转换

     一个连续随机变量X,如果它的分布函数形式如下,则X服从逻辑斯蒂分布,F(x)的值在0~1之间,它的的图形是一条S型曲线

    2、在二分类问题中,为什么弃用传统的线性回归模型,改用逻辑斯蒂回归?

          线性回归用于二分类时,首先想到下面这种形式,p是属于类别的概率:

         

          但是这时存在的问题是:

          1)等式两边的取值范围不同,右边是负无穷到正无穷,左边是[0,1],这个分类模型的存在问题

          2)实际中的很多问题,都是当x很小或很大时,对于因变量P的影响很小,当x达到中间某个阈值时,影响很大。即实际中很多问题,概率P与自变量并不是直线关系。

          所以,上面这分类模型需要修整,怎么修正呢?统计学家们找到的一种方法是通过logit变换对因变量加以变换,具体如下:

            

          

            从而,        

           

            这里的P完全解决了上面的两个问题。

    3、逻辑回归模型的求解过程?

          1)求解方式

            逻辑回归中,Y服从二项分布,误差服从二项分布,而非高斯分布,所以不能用最小二乘进行模型参数估计,可以用极大似然估计来进行参数估计。

          2)似然函数、目标函数

            严谨一点的公式如下:

            

            似然函数如下:

            

            对数似然函数,优化目标函数如下:

            

             整个逻辑回归问题就转化为求解目标函数,即对数似然函数的极大值的问题,即最优化问题,可采用梯度下降法、拟牛顿法等等。

    4、实际应用逻辑回归时数据预处理的经验总结,但经验有限,如果有哪位网友这块经验丰富,忘指教,先谢过

          1)枚举型的特征直接进行binary

          2)数值型特征,可以:标准化、根据分布进行binary

          3)进行pairwise

    5、为什么我们在实际中,经典线性模型的优化目标函数是最小二乘,而逻辑回归则是似然函数

          下面公式直接从Ng notes里面复制过来。

         1) 经典线性模型的满足下面等式:

          

           这里有个假设,即最后这个误差扰动项独立同分布于均值为0的正态分布,即:

          

          从而:

          

          由于有上面的假设,从而就有下面的似然函数:

          

          从而这线性回归的问题就可转化为最大化下面的对数似然估计,由于下面公式前面的项是常数,所以这个问题等价于最小化下面等式中的最后一项,即least mean squares。

          

          2)逻辑斯蒂回归中,因变量y不再是连续的变量,而是二值的{0,1},中间用到logit变换,将连续性的y值通过此变换映射到比较合理的0~1区间。在广义线性回归用于分类问题中,也有一个假设(对应于上面回归问题中误差项独立同分布于正态分布),其中h(x)是logistic function

          

          即,给定x和参数,y服从二项分布,上面回归问题中,给定x和参数,y服从正态分布。从而。

          

                

          问题不同(一个是分类、一个是回归)对应假设也就不同,决定了logistic regression问题最优化目标函数是上面这项,而非回归问题中的均方误差LMS。

    6、从最根本的广义线性模型角度,导出经典线性模型以及逻辑回归

         1)指数家族

          

            当固定T时,这个分布属于指数家族中的哪种分布就由a和b两个函数决定。下面这种是伯努利分布,对应于逻辑回归问题

                                       

              注:从上面可知 ,从而,在后面用GLM导logistic regression的时候会用到这个sigmoid函数。

            下面这种是高斯分布,对应于经典线性回归问题

                    

          2)GLM(广义线性模型)

            指数家族的问题可以通过广义线性模型来解决。如何构建GLM呢?在给定x和参数后,y的条件概率p(y|x,θ) 需要满足下面三个假设:

            assum1)      y | x; θ ∼ ExponentialFamily(η).

            assum2)      h(x) = E[y|x]. 即给定x,目标是预测T(y)的期望,通常问题中T(y)=y

            assum3)       η = θTx,即η和x之间是线性的

           3)经典线性回归、逻辑回归

           经典线性回归:预测值y是连续的,假设给定x和参数,y的概率分布服从高斯分布(对应构建GLM的第一条假设)。由上面高斯分布和指数家族分布的对应关系可知,η=µ,根据构建GLM的第2、3条假设可将model表示成:

          
            

            逻辑回归:以二分类为例,预测值y是二值的{1,0},假设给定x和参数,y的概率分布服从伯努利分布(对应构建GLM的第一条假设)。由上面高斯分布和指数家族分布的对应关系可知,,根据构建GLM的第2、3条假设可model表示成:

            

            可以从GLM这种角度理解为什么logistic regression的公式是这个形式~


          参考资料:

          [1] NG的lecture notes,http://cs229.stanford.edu/notes/cs229-notes1.pdf

          [2] 其他网络资源

    展开全文
  • 线性模型与非线性模型判别

    千次阅读 2019-05-06 17:19:52
    线性模型可以是用曲线拟合样本,但是分类的决策边界一定是直线的,例如logistics模型。 区分是否为线性模型:最简单判别一个模型是否为线性的,只需要判别决策边界是否是直线,也就是是否能用一条直线来划分 看一...
    1. 线性模型可以是用曲线拟合样本,但是分类的决策边界一定是直线的,例如logistics模型。
    2. 区分是否为线性模型:最简单判别一个模型是否为线性的,只需要判别决策边界是否是直线,也就是是否能用一条直线来划分
    3. 看一个乘法式子中自变量x前的系数w,如果w只影响一个x(注:应该是说x只被一个w影响),那么此模型为线性模型。(这时候是与神经网络进行对比,不是很准确,可以看下面LR)
    4. 机器学习中线性模型和非线性的区别

    逻辑回归到底是线性的还是非线性的?

    逻辑回归的模型虽然引入了sigmoid函数映射,但本质上是一个线性回归模型(因为他的决策边界是一条直线)。

    逻辑回归关于系数是线性函数,分离平面无论是线性还是非线性的,逻辑回归其实都可以进行分类。对于非线性的,需要自己去定义一个非线性映射。

    LR决策边界见此链接

    展开全文
  • 从线性到非线性模型-广义线性模型

    千次阅读 2018-09-13 17:30:33
    从线性到非线性模型 1、线性回归,岭回归,Lasso回归,局部加权线性回归 2、logistic回归,softmax回归,最大熵模型 3、广义线性模型 4、Fisher线性判别和线性感知机 5、三层...

    从线性到非线性模型

    1、线性回归,岭回归,Lasso回归,局部加权线性回归
    2、logistic回归,softmax回归,最大熵模型
    3、广义线性模型
    4、Fisher线性判别和线性感知机
    5、三层神经网络
    6、支持向量机

    code: https://github.com/myazi/myLearn

    三、广义线性模型

    ​ 从线性回归,logistic回归,softmax回归,最大熵的概率解释来看,我们会发现线性回归是基于高斯分布+最大似然估计的结果,logistic回归是伯努利分布+对数最大似然估计的结果,softmax回归是多项分布+对数最大似然估计的结果,最大熵是基于期望+对数似然估计的结果。前三者可以从广义线性模型角度来看。

    指数分布家族

    ​ 指数分布家族是指可以表示为指数形式的概率分布,指数分布的形式如下:
    KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \begin{split} …
    其中η\eta是分布的自然参数,T(y)T(y)是充分统计了,通常T(y)=yT(y)=y.当参数a,b,Ta,b,T都固定的时候,就定义了一个以η\eta为参数的函数族。

    实际上大多数的概率分布都属于指数分布家族,比如

    1)伯努利分布 0-1问题

    2)二项分布,多项分布 多取值 多次试验

    3)泊松分布 计数过程

    4)伽马分布与指数分布

    5)β\beta分布

    6)Dirichlet分布

    7)高斯分布

    现在我们将高斯分布和伯努利分布用指数分布家族的形式表示:

    高斯分布
    KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \begin{split} …
    对应到指数分布家族有:
    KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \begin{split} …
    伯努利分布
    KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \begin{split} …
    对应到指数分布家族有:
    KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \begin{split} …

    广义线性模型

    ​ 在了解指数分布家族之后,我们再来看广义线性模型的形式定义与假设:

    1)yx;θExpFamily(η);y|x;\theta \sim ExpFamily(\eta); 给定样本x与参数θ\theta,样本分类y服从指数分布家族的某个分布

    2)给定一个x,我们目标函数为hθ(x)=E[T(y)x]h_{\theta}(x)=E[T(y)|x]

    1. η=θTx\eta=\theta ^{T}x

    ​ 三条假设,第一条是为了能在指数分布范围内讨论y的概率,第二条假设是为了使得预测值服从均值为实际值得一个分布,第三条假设是为了设计的决策函数(模型)是线性的。

    由高斯分布的指数家族分布形式与广义线性模型的定义有线性回归的模型为:
    hθ(x)=E[T(y)x]=E[yx]=μ=η=θTx h_{\theta}(x)=E[T(y)|x]=E[y|x]=\mu=\eta=\theta^{T}x
    同样由伯努利分布的指数家族分布形式与广义线性模型的定义有logistic回归的模型为(解释了为什么是sigmoid函数):
    hθ(x)=E[T(y)x]=E[yx]=p(y=1x;θ)=ϕϕ=11+eη=11+eθTx h_{\theta}(x)=E[T(y)|x]=E[y|x]=p(y=1|x;\theta)=\phi\\ \phi=\frac{1}{1+e^{-\eta}}=\frac{1}{1+e^{-\theta^{T}x}}
    所以,在广义线性模型中,决策函数为线性函数是基于广义线性模型的第三条假设,而最终的模型是依赖于模型服从什么样的分布,比如 高斯分布,伯努利分布。

    同样,我们应用logistic回归到softmax回归的一套定义,下面再来看多项分布对应的softmax回归
    KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \begin{split} …
    其中ϕi\phi_{i}是表示y=iy=i的概率,l(y=i)l(y=i)是一个指示函数,为真是取值为11,否则为00T(y)iT(y)_{i}采用softmax中向量化的定义。

    对应到指数分布家族有:
    KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \begin{split} …
    η\eta推出:
    ηi=logϕi/ϕkϕi=ϕkeηii1..k1 \eta_{i}=log\phi_{i}/\phi_{k} \Rightarrow \phi_{i}=\phi_{k}e^{\eta_{i}} i \in{1..k-1}
    为了方便定义ηk=logϕk/ϕk=0\eta_{k}=log\phi_{k}/\phi_{k}=0,由于多项分布所有值取值概率加和为1有:
    i=1kϕi=i=1kϕkeηi=1ϕk=1i=1keηi \sum_{i=1}^{k}\phi_{i}=\sum_{i=1}^{k}\phi_{k}e^{\eta_{i}}=1 \Rightarrow \phi_{k}=\frac{1}{\sum_{i=1}^{k}e^{\eta_{i}}}
    所以有p(y=ix;ϕ)=ϕi=eηii=1keηip(y=i|x;\phi)=\phi_{i}=\frac{e^{\eta_{i}}}{\sum_{i=1}^{k}e^{\eta_{i}}}.

    再由广义线性模型的第二条假设,同时将第三条线性假设η=θTx\eta=\theta ^{T}x带入有:
    KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \begin{split} …
    最后由最大似然估计有softmax的目标函数如下:
    KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲ \begin{split} …
    到此,广义线性模型解释线性回归,logistic回归,softmax回归基本算完,可以看出线性函数是基于广义线性模型的第三条假设,采用sigmoid函数是因为伯努利分布,而softmax回归是logistic回归高维推广。

    展开全文
  • 从线性到非线性模型-对数线性模型

    千次阅读 2018-08-25 17:41:30
    从线性到非线性模型 1、线性回归,岭回归,Lasso回归,局部加权线性回归 2、logistic回归,softmax回归,最大熵模型 3、广义线性模型 4、Fisher线性判别和线性感知机 5、三层...
  • 线性模型和非线性模型的区别

    千次阅读 2017-05-30 21:41:03
    在机器学习的回归问题中,线性模型和非线性模型都可以去对曲线进行建模,那么线性模型和非线性模型有什么区别呢? 其实,线性模型和非线性模型的区别并不在于能不能去拟合曲线。下面我们来详细介绍一下它们两个的...
  • 线性模型转换为线性模型&&平滑数据处理
  • 一般线性模型和线性回归模型Interpretability is one of the biggest challenges in machine learning. A model has more interpretability than another one if its decisions are easier for a human to ...
  • 常用非线性模型线性模型的理解

    千次阅读 2020-04-09 10:27:50
    线性模型 LinearRegression线性回归 Lasso回归:L1正则化有助于生成一个稀疏权值矩阵,进而可以用于特征选择。由此发现power与userd_time特征非常重要。 Ridge回归:L2正则化在拟合过程中通常都倾向于让权值尽...
  • 在机器学习的回归问题中,线性模型和非线性模型都可以去对曲线进行建模,那么线性模型和非线性模型有什么区别呢?其实,线性模型和非线性模型的区别并不在于能不能去拟合曲线。下面我们来详细介绍一下它们两个的区别...
  • 线性模型和非线性模型的区别,以及激活函数的作用 线性模型和非线性模型的区别? a. 线性模型可以用曲线拟合样本,线性模型可以是用曲线拟合样本,但是分类的决策边界一定是直线的,例如logistics...
  • GLM 一般是指 generalized linear model ,也就是广义线性模型;而非 general linear model,也就是一般线性模型;而GLMM (generalized linear mixed model)是广义线性混合模型。 广义线性模型GLM很简单,举个例子...
  • 在线性回归中,我们是假设目标Y是符合正态分布的。 那么如果Y不符合正态分布呢? 那我们假设Y符合一个更加通用的指数族分布。 借助指数族分布,对响应变量Y的描述将不再...用广义线性模型进行建模: 第一步明...
  • 一:线性模型、非线性模型、神经网络 二:神经网络的激活函数与损失函数 三:神经网络实现分类与回归 四:神经网络的发展---深度学习 五:卷积神经网络、图片分类与文本分类 六:基于卷积神经网络的图片、文本...
  • 线性模型分析

    千次阅读 2018-01-31 16:07:59
    线性模型分析 摘要     线性模型是线性统计模型的一种简称,是数理统计学中研究变量之间关系的一种模型,在线性模型中,未知参数以线性形式出现。本文主要分析和介绍机器学习中两种经典的线性模型:线性...
  • 线性模型和非线性模型区别 线性模型可以是用曲线拟合样本,但是分类的决策边界一定是直线的,例如logistics模型 区分是否为线性模型,主要是看一个乘法式子中自变量x前的系数w,如果w只影响一个x,那么此模型...
  • 神经网络中提到的线性模型与非线性模型之间的区别就体现在字面意思上:线性模型即仅通过对输入进行线性变换得到输出的网络模型,我们知道在线性代数中矩阵的相乘就是一种线性变换,根据矩阵乘法的结合律可知:一个...
  • 广义线性模型

    千次阅读 2017-10-02 21:29:59
    广义线性模型(Generalized Linear Models) 在线性回归问题中,我们假设,而在分类问题中,我们假设,它们都是广义线性模型的例子,而广义线性模型就是把自变量的线性预测函数当作因变量的估计值。很多模型...
  • 多层线性模型

    千次阅读 2020-03-08 19:32:15
    多层线性模型又叫做“多层分析(multilevel analysis)”或者是“分层线性模型(hierarchical liner modeling)”。 在社会科学中,多层线性的结构非常具有普遍性,如下图列出四种常见的情况。 拿两层举例子,假如...
  • 广义线性模型(GLM) 首先术语广义线性模型(GLM)通常是指给定连续和/或分类预测变量的连续响应变量的常规线性回归模型。它包括多元线性回归,以及ANOVA和ANCOVA(仅具有固定效果)。形式为 yi〜N(xβ,σ2),...
  • 线性模型和非线性模型……
  • 线性模型如何预测趋势 #2.如何评估线性模型的性能 def boston_linear(): “”" 线性回归直接预测房子价格 :return: None “”" # 获取数据 lb = load_boston() # 分割数据集到训练集和测试集 # x_train和y_train是...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 56,479
精华内容 22,591
关键字:

线性模型