精华内容
下载资源
问答
  • 一元线性回归,多元线性回归、逻辑回归概念学习

    一元线性回归,多元线性回归、逻辑回归概念学习



    展开全文
  • 一元线性回归

    2017-03-11 22:04:00
    一元线性回归是最简单的一种模型,但应用广泛,比如简单地预测商品价格、成本评估等,都可以用一元线性模型,本节主要讲解scikit-learn一元线性回归的使用以及作图说明。 y=f(x)叫做一元函数,回归的意思就是根据...

    1、概念

    一元线性回归是最简单的一种模型,但应用广泛,比如简单地预测商品价格、成本评估等,都可以用一元线性模型,本节主要讲解scikit-learn一元线性回归的使用以及作图说明。

    y=f(x)叫做一元函数,回归的意思就是根据已知数据复原某些值,线性回归(regression)就是用线性的模型做回归复原。

    那么一元线性回归就是:已知一批(x,y)值来复原另外未知的值。

    比如:告诉你(1,1),(2,2),(3,3),那么问你(4,?)是多少,很容易复原出来(4,4),这就是一元线性回归问题的求解。

    当然实际给你的数据可能不是严格线性,但依然让我们用一元线性回归来计算,那么就是找到一个最能代表已知数据的一元线性函数来做复原和求解。

    2、scikit-learn的一元线性回归

     1 import numpy as np
     2 from sklearn.linear_model import LinearRegression
     3 x = [[1],[2],[3],[4],[5],[6]]
     4 y = [[1],[2.1],[2.9],[4.2],[5.1],[5.8]]
     5 print x
     6 print(y)
     7 model = LinearRegression()
     8 model.fit(x, y) #训练模型
     9 predicted = model.predict([13])[0]#预测输出
    10 print predicted
    View Code

    结果:

    1 [[1], [2], [3], [4], [5], [6]]
    2 [[1], [2.1], [2.9], [4.2], [5.1], [5.8]]
    3 [ 12.82666667]

    这里面的model是一个estimator,它通过fit()方法来算出模型参数,并通过predict()方法来预测,LinearRegression的fit()方法就是学习这个一元线性回归模型:

    y = a + bx

    原数据的图像:

     1 import matplotlib.pyplot as plt
     2 from matplotlib.font_manager import FontProperties
     3 font = FontProperties()
     4 plt.figure()
     5 plt.title('this is title')
     6 plt.xlabel('x label')
     7 plt.ylabel('y label')
     8 plt.axis([0, 25, 0, 25])
     9 plt.grid(True)
    10 x = [[1],[2],[3],[4],[5],[6]]
    11 y = [[1],[2.1],[2.9],[4.2],[5.1],[5.8]]
    12 plt.plot(x, y, 'k.')
    13 plt.show()
    View Code

    结果:

    合在一起:

     1 import numpy as np
     2 from sklearn.linear_model import LinearRegression
     3 import matplotlib.pyplot as plt
     4 from matplotlib.font_manager import FontProperties
     5 
     6 x = [[1],[2],[3],[4],[5],[6]]
     7 y = [[1],[2.1],[2.9],[4.2],[5.1],[5.8]]
     8 model = LinearRegression()
     9 model.fit(x, y)
    10 x2 = [[0], [2.5], [5.3], [9.1]]
    11 y2 = model.predict(x2)
    12 
    13 plt.figure()
    14 plt.title('linear sample')
    15 plt.xlabel('x')
    16 plt.ylabel('y')
    17 plt.axis([0, 10, 0, 10])
    18 plt.grid(True)
    19 plt.plot(x, y, 'k.')
    20 plt.plot(x2, y2, 'g-')
    21 plt.show()
    View Code

    其他相关用法

    方差计算:方差用来衡量样本的分散程度,方差公式是

    用numpy库已有的方法:

    1 np.var([1, 2, 3, 4, 5, 6], ddof=1)
    1 3.5

    得出方差是3.5。

    其中ddof是无偏估计校正技术。

    协方差计算:协方差表示两个变量的总体变化趋势,如果朝同方向变化则为正,朝反方向变化则为负,不相关则为0,协方差公式是:

    1 np.cov([1,2,3,4,5,6], [1,2.1,2.9,4.2,5.1,5.8])[0][1]
    1 3.4299999999999997

    得出协方差是3.43。

    事实上,方差/协方差就是线性方程的参数b:1.02

    代入一个数据就可以得到a值:1 = a + 1.02 * 1,所以a=-0.02

    因此回归方程就是y = -0.02 + 1.02 * x

    因此预测x=13时,y=-0.02+1.02*13=13.24

    这就是通过最小化成本函数来做回归。

    模型评估

    R方度量方法可以评估线性回归效果,R方也叫确定系数,表示模型对现实数据的拟合程度。R方算法为:1-(残差平方和/样本总体平方和)

    也可以用model.score()方法直接计算R方:

     model.score(X_test, y_test)

     

    转载于:https://www.cnblogs.com/yuzhuwei/p/6536389.html

    展开全文
  • 一元线性回归概念 用相关系数去衡量线性相关性的强弱。 一元线性回归模型 如果 X 和 Y 之间存在着较强的相关关系,则我们有 Y ≈ α+βX,如果我们能求出 α 和 β 的值,根据 X 的值,可以得到 Y 预测值: ...

    一元线性回归的数学推导

    一元线性回归概念


    用相关系数去衡量线性相关性的强弱。



    一元线性回归模型

    如果 X 和 Y 之间存在着较强的相关关系,则我们有 Y ≈ α+βX,如果我们能求出 α  和 β 的值,根据 X 的值,可以得到 Y 预测值:

     

    如何确定  α  和 β 呢?我们确定的 α  和 β 可以使得 平方误差和最小,根据最小二乘法:


    式中: α  和 β 未知。求上式子最小时候的α  和 β 值。对α  和 β 求偏导。






    根据:

    最后可得:



    数学简单示例:


    参考:
    黄志洪老师课件

    一元线性回归的Python实现

    import pandas as pd
    import matplotlib.pyplot as plt
    import sklearn
    from sklearn.linear_model import LinearRegression
    #载入数据
    lr = LinearRegression(fit_intercept=True)
    columns = ["mpg", "cylinders", "displacement", "horsepower", "weight", "acceleration", "model year", "origin", "car name"]
    cars = pd.read_table("auto_mpg.data",delim_whitespace=True, names=columns)
    #训练数据
    lr.fit(cars[["weight"]], cars[["mpg"]])
    predictions = lr.predict(cars[["weight"]])
    #显示图形
    plt.scatter(cars[["weight"]], cars["mpg"], c='red')
    plt.scatter(cars[["weight"]], predictions, c='blue')
    plt.show()





    展开全文
  • 一元线性回归(原理)

    千次阅读 2018-04-25 19:52:59
    前言:一元线性回归是数据挖掘的基础模型,其中包含了非常重要的数学回归的概念,是学习多元回归,广义线性回归的基础。本文主要讲解1)基础原理2)数学推导3)R语言演示,来介绍一元线性回归。关键词:一元线性回归...

    前言:

    一元线性回归是数据挖掘的基础模型,其中包含了非常重要的数学回归的概念,是学习多元回归,广义线性回归的基础。本文主要讲解1)基础原理2)数学推导3)R语言演示,来介绍一元线性回归。

    关键词:一元线性回归基础原理、最小二乘法、数学推导、R语言

    整体思路:

    根据已知点求一条直线,希望直线与各个点距离之和为最小,根据最小二乘法算出最小时直线的参数。

    正文:

    一、基础原理:假设已知铅笔销量和时代的关系,如下图散点:





    三、R语言实现:

    > x = c(18,23,25,35,65,54,34,56,72,19,23,42,18,39,37)

    >y=c(202,186,187,180,156,169,174,172,153,199,193,174,198,183,178)

    > plot(x,y)#绘散点图

    > fm = lm(y ~ x) #拟合线性回归模型

    > abline(fm) #绘制(添加)回归线

     

    辅助知识:

    求导的目的是求一个公式的变化率。比如y=x^2 求导后为 y=2x ,即当X=0时它的变化率是最低。(斜率为0),随着X增大1个单位,y的变化速度就增加2个单位的速度。如果x=10,y的增幅变化率就是20.可以自己想想一下y=x^2的图形就明白了。

    偏导:在一元函数中,我们已经知道导数就是函数的变化率。对于二元函数我们同样要研究它的“变化率”。所以就分别对每个元素进行求导,称为偏导。


    参考资料:

    《R语言统计分析软件简明教程》 王斌会等

    百度百科

    展开全文
  • 一元线性回归概念 若有如下数据:(部分数据) 做出散点图直观观察:可以看出X和Y基本符合一个线性关系。 > X<-c(0.1,0.11,0.12,0.13,0.14,0.15,0.16,0.17,0.18,0.2,0.21,0.23) > Y<-c(42,43.5,45...
  • 一元线性回归分析模型在家庭消费支出预测中的应用,高玉,周树民,介绍一元线性回归分析的基本概念和方法原理,并以2001年到2010年国民的城镇居民家庭人均支配收入(简称
  • 用R进行一元线性回归分析建模

    万次阅读 2016-05-31 15:59:34
    概念一元线性回归预测是指成对的两个变量数据的散点图呈现出直线趋势时,采用最小二乘法,找到两者之间的经验公式,即一元线性回归预测模型。根据自变量的变化,来估计因变量变化的预测方法。 我用的是R内置...
  • 一元线性回归模型也称为简单回归模型,它是用来研究两个变量之间的关系。理解并熟练运用简单回归模型,对后面几章多元回归模型的学习是非常有帮助的。2.1 回归分析概述2.1.1回归分析的基本概念“回归”这一概念是19...
  • 一元线性回归简记

    2020-01-01 16:20:45
    文章目录基本概念最小二乘法统计学方法统计学建模统计学方法估计a和b估计均方误差线性假设的显著性检验置信区间以及预测区间 基本概念 从独立的两个随机变量X和Y中获取n对观察结果组成的样本(X1,Y1),(X2,Y2),…,(Xn,...
  • 一元线性回归1. 模型与成本函数(Model and Cost Function)1.1 模型表示1.2 代价函数 (本文为学习总结笔记,如有雷同请无视) 线性回归预测一个输入值的一个真值输出。我们讨论了线性回归在住房价格预测中的应用,...
  • 一元线性回归模型的概念 这也要从一个女装公司讲起! 问:请用函数关系描述身高与腿长的联系。 一般接受过培训懂点数模的同学应该非常清楚的是,拿到此题,先画出散点图,观察是什么样子的,然后进行下一步观测! ...
  • 在回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。其中,被用来预测的变量叫做自变量,被预测的变量叫做因变量。如果包含两个以上的自变量,则...
  • 1.课程部分 1.1 基本概念 (1)训练集—由训练样例...(2)假设函数—用学习算法对训练集数据训练,可以得到假设函数(Hypothesis Function),单变量线性回归的假设函数为:h_θ (x)=θ_0+θ_1 x, 为了方便h_θ ...
  • 在统计学中,线性回归(linear regression)是一种回归分析方法,它利用基于最小二乘函数的回归方程对一个或多个自变量和因变量之间的关系进行建模。 通过这个例子能够更加深入的理解TensorFlow的概念和使用方法。 ...
  • 基本概念: 标签:y 特征:x_i 样本:x 有标签样本:{x, y} 用于训练 无标签样本:{x, ?} 用于预测 模型:y' 训练:通过有标签样本来学习确定所有权重w和偏差b 训练目标:找到一组平均损失较小的权重w和...
  • 一元线性回归分析(Univariate Nonlinar Regression):在回归分析中,只包含一个自变量和一个因变量,且二者的关系可以用一条曲线表示,则成为一元非线性分析。 案例:游戏等级和木材消耗的关系。 木材消耗和游戏...
  • 在学习统计学贾书的过程,在第6—14章节出有许多需要理解与记忆的公式和概念,在此通过博客的形式做一次梳理,主要内容为统计学中抽样分布、假设检验、参数估计、分类数据分析、方差分析、一元二元线性分析、时间...
  • 一、线性回归的理论1)线性回归的基本概念线性回归是一种有监督的学习算法,它介绍的自变量的和因变量的之间的线性的相关关系,分为一元线性回归和多元的线性回归。一元线性回归是一个自变量和一个因变量间的回归,...
  • 一、线性回归的理论1)线性回归的基本概念线性回归是一种有监督的学习算法,它介绍的自变量的和因变量的之间的线性的相关关系,分为一元线性回归和多元的线性回归。一元线性回归是一个自变量和一个因变量间的回归,...
  • 回归算法线性回归线性回归的定义线性...根据自变量的个数不同分为一元线性回归和多元线性回归。其具体表示公式如下: 线性回归误差的度量 损失函数,又称最小二乘法,其具体表示公式如下: 线性回归减小误差的方法
  • 一、线性回归的理论1)线性回归的基本概念线性回归是一种有监督的学习算法,它介绍的自变量的和因变量的之间的线性的相关关系,分为一元线性回归和多元的线性回归。一元线性回归是一个自变量和一个因变量间的回归,...
  • 多元线性回归

    2018-01-24 20:23:39
    一元线性回归只是让我们好理解回归这个概念。在实际中特征很少说只有一个。所有就有多元线性回归。 概念一元线性回归一样,多元线性回归自然是一个回归问题。只不过一元线性回归的方程可以写成。 y=ax+b ...
  • 本文将从基本概念、训练方式、使用限制、代码实现等方面介绍线性回归什么是线性回归线性回归的损失函数如何训练线性回归模型线性回归的数值解线性回归的梯度下降解线性回归的基本用途、优缺点、拓展线性回归的假设...
  • 线性回归

    2020-04-21 21:31:57
    介绍:监督学习中的两大...回归问题按输入变量的个数可以分为一元回归和多元回归,按照输入变量和输出变量之间的关系可以分为线性回归和非线性回归。本篇主要讲线性回归线性回归概念 线性回归的原理 线性回...
  • 线性回归是一种有监督的学习算法,它介绍的自变量的和因变量的之间的线性的相关关系,分为一元线性回归和多元的线性回归。一元线性回归是一个自变量和一个因变量间的回归,可以看成是多远线性回归的特例。线性回归...
  • 本文主要介绍一些机器学习的基础概念和推导过程... 首先看下机器学习的定义及常用的分类: 我们从一元线性回归这个基础领域切入 这样一元线性回归的问题到此结束,我们延伸到多元的场景下继续 之前提到了多项式回归...

空空如也

空空如也

1 2 3 4 5 ... 8
收藏数 148
精华内容 59
关键字:

一元线性回归概念