第一：R方（R-squared）
定义：衡量模型拟合度的一个量,是一个比例形式，被解释方差/总方差。
公式：R-squared = SSR/TSS
                            =1 -  RSS/TSS
其中：TSS是执行回归分析前，响应变量固有的方差。
          RSS残差平方和就是，回归模型不能解释的方差。
          SSR回归模型可以解释的方差。
综上，R-squared 比列值区间在【0，1】

第二：线性回归模型下，R方和相关系数
相关系数公式

我们知道，相关系数衡量两个变量【预测变量X,响应变量Y】之间的"距离"。
1、一元线性回归
R方在一元线性回归模型中，衡量【响应变量X和预测变量Y】的线性关系。
R方=cor（X,Y)^2
但是在多元线性回归模型中，因为涉及多个预测变量，所有R方就是衡量响应变量和多个预测变量之间的关系。
而相关系数，只是衡量一对变量之间的关系，所有就不能推广了。
2、多元线性回归模型
R平方=cov（y，yi）^2
其中相关系数的两个变量变成，响应值和线性回归的预测值了。当然一元线性也同样适用了。

第三：调整R方（Adjusted R-Square）


另一个公式  R-squared = 1-   (RSS/（n-p-1)) / (TSS/(n-1))

因为在模型中，增加多个变量，即使事实上无关的变量，也会小幅度条R平方的值，当时其是无意义，所有我们调整了下，降低R平方的值。
简单地说就是，用r square的时候，不断添加变量能让模型的效果提升，而这种提升是虚假的。
利用adjusted r square，能对添加的非显著变量给出惩罚，也就是说随意添加一个变量不一定能让模型拟合度上升

作者|ANIRUDDHA BHANDARI
编译|VK
来源|Analytics Vidhya
概述
理解R方和调整R方的概念
了解R方和调整R方之间的关键区别
介绍
当我开始我的数据科学之旅时，我探索的第一个算法是线性回归。
在理解了线性回归的概念和算法的工作原理之后，我非常兴奋地使用它并在问题陈述中做出预测。我相信你们大多数人也会这么做的。但是一旦我们建立了模型，下一步是什么呢？
接下来是棘手的部分。一旦我们建立了模型，下一步就是评估它的性能。毋庸置疑，模型评价是一项关键性的任务，它凸显了模型的不足。
选择最合适的评价指标是一个关键的任务。而且，我遇到了两个重要的指标：除了MAE/MSE/RMSE，有R方和调整R方。这两者有什么区别？我应该用哪一个？
R方和调整R方是两个评估指标，对于任何一个数据科学的追求者来说，这两个指标可能会让他们感到困惑。
它们对评估回归问题都非常重要，我们将深入了解和比较它们。它们各有利弊，我们将在本文中详细讨论。
目录
残差平方和
了解R方统计量
关于R方统计量的问题
调整R方统计量
残差平方和
为了清楚地理解这些概念，我们将讨论一个简单的回归问题。在这里，我们试图根据“花在学习上的时间”来预测“获得的分数”。学习时间是我们的自变量，考试成绩是我们的因变量或目标变量。
我们可以绘制一个简单的回归图来可视化这些数据。
黄点代表数据点，蓝线是我们预测的回归线。如你所见，我们的回归模型并不能完美地预测所有的数据点。
那么我们如何利用这些数据来评估回归线的预测呢？我们可以从确定数据点的残差开始。
数据中某一点的残差是实际值与线性回归模型预测值之间的差值。
残差图告诉我们回归模型是否适合数据。残差的平方实际上是回归模型优化的目标函数。
利用残差值，我们可以确定残差的平方和，也称为残差平方和或RSS。。
RSS值越低，模型预测值越好。或者我们可以这样说——如果回归线使RSS值最小化，那么回归线就是最佳拟合线。
但这其中有一个缺陷——RSS是一个尺度变量统计。由于RSS是实际值和预测值的平方差之和，因此该值取决于目标变量的大小。
例子：
假设你的目标变量是销售产品所产生的收入。残差取决于目标的大小。如果收入大小以“1百卢比”为单位计算的话(即目标可能是1、2、3等)，那么我们可能会得到0.54左右的RSS(假设)。
但是如果收入目标变量以“卢比”为单位(即目标值为100、200、300等)，那么我们可能会得到一个更大的RSS，即5400。即使数据没有变化，RSS的值也会随着目标的大小而变化。这使得很难判断什么是好的RSS值。
那么，我们能想出一个更好的尺度不变的统计量吗？这就是R方出现的地方。
R方统计量
R方统计量是一种尺度不变的统计量，它给出了线性回归模型解释的目标变量的变化比例。
这可能看起来有点复杂，所以让我在这里把它分解。为了确定模型解释的目标变化比例，我们需要首先确定以下内容-
平方和(TSS)
目标变量的总变化是实际值与其平均值之差的平方和。
TSS或总平方和给出了Y的总变化量。我们可以看到它与Y的方差非常相似。虽然方差是实际值和数据点之间差的平方和的平均值，TSS是平方和的总和。
既然我们知道了目标变量的总变化量，我们如何确定模型解释的这种变化的比例？我们回到RSS。
残差平方和(RSS)
正如我们前面讨论的，RSS给出了实际点到回归线距离的总平方。残差，我们可以说是回归线没有捕捉到的距离。
因此，RSS作为一个整体给了我们目标变量中没有被我们的模型解释的变化。
R方
现在，如果TSS给出Y的总变化量，RSS给出不被X解释的Y的变化量，那么TSS-RSS给出了Y的变化，并且这部分变化是由我们的模型解释的！我们可以简单地再除以TSS，得到由模型解释的Y中的变化比例。这是我们的R方统计量！
R方=(TSS-RSS)/TSS
​       =解释变化/总变化
​       =1–未解释的变化/总变化
因此，R方给出了目标变量的可变性程度，由模型或自变量解释。如果该值为0.7，则意味着自变量解释了目标变量中70%的变化。
R方始终介于0和1之间。R方越高，说明模型解释的变化越多，反之亦然。
如果RSS值很低，这意味着回归线非常接近实际点。这意味着自变量解释了目标变量的大部分变化。在这种情况下，我们会有一个非常高的R方值。
相反，如果RSS值非常高，则意味着回归线远离实际点。因此，自变量无法解释目标变量中的大部分变量。这会给我们一个很低的R方值。
所以，这就解释了为什么R方值给出了目标变量的变化量。
关于R方统计量的问题
R方统计并不完美。事实上，它有一个主要缺陷。不管我们在回归模型中添加多少变量，它的值永远不会减少。
也就是说，即使我们在数据中添加冗余变量，R方的值也不会减少。它要么保持不变，要么随着新的自变量的增加而增加。
这显然没有意义，因为有些自变量在确定目标变量时可能没有用处。调整R方处理了这个问题。
调整R方统计量
调整R方考虑了用于预测目标变量的自变量数量。在这样做的时候，我们可以确定在模型中添加新的变量是否会增加模型的拟合度。
让我们看看调整R方的公式，以便更好地理解它的工作原理。
在这里，
n表示数据集中的数据点数量
k表示自变量的个数
R代表模型确定的R方值
因此，如果R方在增加一个新的自变量时没有显著增加，那么调整R方值实际上会减少。
另一方面，如果增加新的自变量，我们看到R方值显著增加，那么调整R方值也会增加。
如果我们在模型中加入一个随机自变量，我们可以看到R方值和调整R方值之间的差异。
如你所见，添加随机独立变量无助于解释目标变量的变化。我们的R方值保持不变。因此，给我们一个错误的指示，这个变量可能有助于预测输出。然而，调整R方值下降，表明这个新变量实际上没有捕捉到目标变量的趋势。
显然，当回归模型中存在多个变量时，最好使用调整R方。这将使我们能够比较具有不同数量独立变量的模型。
结尾
在这篇文章中，我们研究了R方统计值是什么，它在哪里不稳定。我们还研究了调整R方。
希望这能让你更好地理解事情。现在，你可以谨慎地确定哪些自变量有助于预测回归问题的输出。

作者|ANIRUDDHA BHANDARI
编译|VK
来源|Analytics Vidhya
概述

理解R方和调整R方的概念
了解R方和调整R方之间的关键区别

介绍
当我开始我的数据科学之旅时，我探索的第一个算法是线性回归。
在理解了线性回归的概念和算法的工作原理之后，我非常兴奋地使用它并在问题陈述中做出预测。我相信你们大多数人也会这么做的。但是一旦我们建立了模型，下一步是什么呢？
接下来是棘手的部分。一旦我们建立了模型，下一步就是评估它的性能。毋庸置疑，模型评价是一项关键性的任务，它凸显了模型的不足。
选择最合适的评价指标是一个关键的任务。而且，我遇到了两个重要的指标：除了MAE/MSE/RMSE，有R方和调整R方。这两者有什么区别？我应该用哪一个？
R方和调整R方是两个评估指标，对于任何一个数据科学的追求者来说，这两个指标可能会让他们感到困惑。
它们对评估回归问题都非常重要，我们将深入了解和比较它们。它们各有利弊，我们将在本文中详细讨论。
目录

残差平方和
了解R方统计量
关于R方统计量的问题
调整R方统计量

残差平方和
为了清楚地理解这些概念，我们将讨论一个简单的回归问题。在这里，我们试图根据“花在学习上的时间”来预测“获得的分数”。学习时间是我们的自变量，考试成绩是我们的因变量或目标变量。
我们可以绘制一个简单的回归图来可视化这些数据。

黄点代表数据点，蓝线是我们预测的回归线。如你所见，我们的回归模型并不能完美地预测所有的数据点。
那么我们如何利用这些数据来评估回归线的预测呢？我们可以从确定数据点的残差开始。

 数据中某一点的残差是实际值与线性回归模型预测值之间的差值。



残差图告诉我们回归模型是否适合数据。残差的平方实际上是回归模型优化的目标函数。
利用残差值，我们可以确定残差的平方和，也称为残差平方和或RSS。。

RSS值越低，模型预测值越好。或者我们可以这样说——如果回归线使RSS值最小化，那么回归线就是最佳拟合线。
但这其中有一个缺陷——RSS是一个尺度变量统计。由于RSS是实际值和预测值的平方差之和，因此该值取决于目标变量的大小。
例子：
假设你的目标变量是销售产品所产生的收入。残差取决于目标的大小。如果收入大小以“1百卢比”为单位计算的话（即目标可能是1、2、3等），那么我们可能会得到0.54左右的RSS（假设）。
但是如果收入目标变量以“卢比”为单位（即目标值为100、200、300等），那么我们可能会得到一个更大的RSS，即5400。即使数据没有变化，RSS的值也会随着目标的大小而变化。这使得很难判断什么是好的RSS值。
那么，我们能想出一个更好的尺度不变的统计量吗？这就是R方出现的地方。
R方统计量

 R方统计量是一种尺度不变的统计量，它给出了线性回归模型解释的目标变量的变化比例。

这可能看起来有点复杂，所以让我在这里把它分解。为了确定模型解释的目标变化比例，我们需要首先确定以下内容-
平方和(TSS)

 目标变量的总变化是实际值与其平均值之差的平方和。


TSS或总平方和给出了Y的总变化量。我们可以看到它与Y的方差非常相似。虽然方差是实际值和数据点之间差的平方和的平均值，TSS是平方和的总和。
既然我们知道了目标变量的总变化量，我们如何确定模型解释的这种变化的比例？我们回到RSS。
残差平方和(RSS)
正如我们前面讨论的，RSS给出了实际点到回归线距离的总平方。残差，我们可以说是回归线没有捕捉到的距离。
因此，RSS作为一个整体给了我们目标变量中没有被我们的模型解释的变化。
R方
现在，如果TSS给出Y的总变化量，RSS给出不被X解释的Y的变化量，那么TSS-RSS给出了Y的变化，并且这部分变化是由我们的模型解释的！我们可以简单地再除以TSS，得到由模型解释的Y中的变化比例。这是我们的R方统计量！

 R方=（TSS-RSS）/TSS
​       =解释变化/总变化
​       =1–未解释的变化/总变化

因此，R方给出了目标变量的可变性程度，由模型或自变量解释。如果该值为0.7，则意味着自变量解释了目标变量中70%的变化。
R方始终介于0和1之间。R方越高，说明模型解释的变化越多，反之亦然。
如果RSS值很低，这意味着回归线非常接近实际点。这意味着自变量解释了目标变量的大部分变化。在这种情况下，我们会有一个非常高的R方值。

相反，如果RSS值非常高，则意味着回归线远离实际点。因此，自变量无法解释目标变量中的大部分变量。这会给我们一个很低的R方值。

所以，这就解释了为什么R方值给出了目标变量的变化量。
关于R方统计量的问题
R方统计并不完美。事实上，它有一个主要缺陷。不管我们在回归模型中添加多少变量，它的值永远不会减少。
也就是说，即使我们在数据中添加冗余变量，R方的值也不会减少。它要么保持不变，要么随着新的自变量的增加而增加。
这显然没有意义，因为有些自变量在确定目标变量时可能没有用处。调整R方处理了这个问题。
调整R方统计量
调整R方考虑了用于预测目标变量的自变量数量。在这样做的时候，我们可以确定在模型中添加新的变量是否会增加模型的拟合度。
让我们看看调整R方的公式，以便更好地理解它的工作原理。

在这里，

n表示数据集中的数据点数量

k表示自变量的个数

R代表模型确定的R方值


因此，如果R方在增加一个新的自变量时没有显著增加，那么调整R方值实际上会减少。

另一方面，如果增加新的自变量，我们看到R方值显著增加，那么调整R方值也会增加。

如果我们在模型中加入一个随机自变量，我们可以看到R方值和调整R方值之间的差异。

如你所见，添加随机独立变量无助于解释目标变量的变化。我们的R方值保持不变。因此，给我们一个错误的指示，这个变量可能有助于预测输出。然而，调整R方值下降，表明这个新变量实际上没有捕捉到目标变量的趋势。
显然，当回归模型中存在多个变量时，最好使用调整R方。这将使我们能够比较具有不同数量独立变量的模型。
结尾
在这篇文章中，我们研究了R方统计值是什么，它在哪里不稳定。我们还研究了调整R方。
希望这能让你更好地理解事情。现在，你可以谨慎地确定哪些自变量有助于预测回归问题的输出。
原文链接：https://www.analyticsvidhya.com/blog/2020/07/difference-between-r-squared-and-adjusted-r-squared/
欢迎关注磐创AI博客站：
http://panchuang.net/
sklearn机器学习中文官方文档：
http://sklearn123.com/
欢迎关注磐创博客资源汇总站：
http://docs.panchuang.net/

	

R方，即R-Squared，常用来衡量线性回归的拟合度。相关性“r"衡量两个变量间的相关性，相关性接近1表示变量间具有很强的正相关性，接近-1表示变量间具有很强的负相关性，接近0表示变量间没有太多的关系。R方与相关性”r“具有很强的相关性。
理解R方最好的方法是通过一个简单的例子，如下图，黑色水平线表示房子价格的平均值(mean)，垂直的蓝色线表示变量与平均值的差异(variation)。
数据集的方差(Variation)等于所有数据点与数据集平均值差异的平方和。
方差用如下式表示：
为什么要使用平方表示差异
若不取每个数据点与平均值的平方，那么低于平均值的点会抵消高于平均值的点，方差接近0，这与实际情况不符，所以要使用平方表示数据集的方差。
数据点按照房子大小排序
数据点按照房子大小排序后的分布，如下图：
由均值和方差公式可知，按房子大小排序后的数据均值和方差不变。
如何预测新房子大小的房子价格
我们需要根据提供的数据构建线性回归模型，当给定新房子的大小时，该模型给出对应的价格。如下图：
如何衡量线性回归模型的拟合度
线性回归的拟合度用来衡量线性回归预测的数据与真实数据的拟合程度，用R方表示，R方越接近于1，表示拟合程度越好，即线性回归模型也越好。
R方公式：
Var(mean)表示数据真实值与平均值差异的平方和；
Var(line)表示数据预测值与平均值差异的平方和，下图的垂直橙色线表示预测值与平均值的差异：
若Var(mean) = 32，Var(line) = 6
则：
表示线性回归预测值相比于均线预测值方差变化减少了0.81，在实际项目中，我们常用表示线性回归模型的好坏，越好，表示线性回归预测的值与真实值越接近。
参考：
https://towardsdatascience.com/data-science-explaining-r%C2%B2-in-statistics-6f34e7f0a9bb
推荐阅读
干货 | 清晰易懂的机器学习算法原理介绍
欢迎扫码关注：