我们在数据的处理过程中，或者在数据分析的过程中，对数据的验证是必要的一步，我们要去了解数据的有效性和真实性，这样才能更加准确的用数据说明问题，这里讲一下几个简单的关于数据的概念，可以帮助我们来理解相应的统计学问题。

概念：

首先讲一下标准差的概念，要了解什么是标准差。

标准差（StandardDeviation），在概率统计中最常使用作为统计分布程度（statisticaldispersion）上的测量。标准差定义是总体各单位标准值与其平均数离差平方的算术平均数的平方根。它反映组内个体间的离散程度。测量到分布程度的结果，原则上具有两种性质：

为非负数值，与测量资料具有相同单位。一个总量的标准差或一个随机变量的标准差，及一个子集合样品数的标准差之间，有所差别。

简单来说，标准差是一组数据平均值分散程度的一种度量。一个较大的标准差，代表大部分数值和其平均值之间差异较大；一个较小的标准差，代表这些数值较接近平均值。

例如，两组数的集合{0,5,9,14}和{5,6,8,9}其平均值都是7，但第二个集合具有较小的标准差。

标准差可以当作不确定性的一种测量。例如在物理科学中，做重复性测量时，测量数值集合的标准差代表这些测量的精确度。当要决定测量值是否符合预测值，测量值的标准差占有决定性重要角色：如果测量平均值与预测值相差太远（同时与标准差数值做比较），则认为测量值与预测值互相矛盾。这很容易理解，因为如果测量值都落在一定数值范围之外，可以合理推论预测值是否正确。

标准差应用于投资上，可作为量度回报稳定性的指标。标准差数值越大，代表回报远离过去平均数值，回报较不稳定故风险越高。相反，标准差数值越小，代表回报较为稳定，风险亦较小。

例如，A、B两组各有6位学生参加同一次语文测验，A组的分数为95、85、75、65、55、45，B组的分数为73、72、71、69、68、67。这两组的平均数都是70，但A组的标准差约为17.08分，B组的标准差约为2.16分，说明A组学生之间的差距要比B组学生之间的差距大得多。

如是总体（即估算总体），根号内除以n（对应excel函数：STDEVP）；

如是抽样（即估算样本），根号内除以（n-1）（对应excel函数：STDEV）；

因为我们大量接触的是样本，所以普遍使用根号内除以（n-1）。

公式：

所有数减去其平均值的平方和，所得结果除以该组数之个数（或个数减一，即变异数），再把所得值开根号，所得之数就是这组数据的标准差。

扩展：

离散度：

标准差是反映一组数据离散程度最常用的一种量化形式，是表示精确度的重要指标。说起标准差首先得搞清楚它出现的目的。我们使用方法去检测它，但检测方法总是有误差的，所以检测值并不是其真实值。检测值与真实值之间的差距就是评价检测方法最有决定性的指标。但是真实值是多少，不得而知。因此怎样量化检测方法的准确性就成了难题。这也是临床工作质控的目的：保证每批实验结果的准确可靠。

虽然样本的真实值是不可能知道的，但是每个样本总是会有一个真实值的，不管它究竟是多少。可以想象，一个好的检测方法，其检测值应该很紧密的分散在真实值周围。如果不紧密，与真实值的距离就会大，准确性当然也就不好了，不可能想象离散度大的方法，会测出准确的结果。因此，离散度是评价方法的好坏的最重要也是最基本的指标。

一组数据怎样去评价和量化它的离散度，有很多种方法：

极差

最直接也是最简单的方法，即最大值－最小值（也就是极差）来评价一组数据的离散度。这一方法在日常生活中最为常见，比如比赛中去掉最高最低分就是极差的具体应用。

离均差平方和

由于误差的不可控性，因此只由两个数据来评判一组数据是不科学的。所以人们在要求更高的领域不使用极差来评判。其实，离散度就是数据偏离平均值的程度。因此将数据与均值之差（我们叫它离均差）加起来就能反映出一个准确的离散程度。和越大离散度也就越大。

但是由于偶然误差是成正态分布的，离均差有正有负，对于大样本离均差的代数和为零的。为了避免正负问题，在数学有上有两种方法：一种是取绝对值，也就是常说的离均差绝对值之和。而为了避免符号问题，数学上最常用的是另一种方法－－平方，这样就都成了非负数。因此，离均差的平方和成了评价离散度一个指标。

方差

由于离均差的平方和与样本个数有关，只能反映相同样本的离散度，而实际工作中做比较很难做到相同的样本，因此为了消除样本个数的影响，增加可比性，将离均差的平方和求平均值，这就是我们所说的方差成了评价离散度的较好指标。

样本量越大越能反映真实的情况，而算术平均值却完全忽略了这个问题，对此统计学上早有考虑，在统计学中样本的均差多是除以自由度（n-1），它的意思是样本能自由选择的程度。当选到只剩一个时，它不可能再有自由了，所以自由度是n-1。

标准差意义

由于方差是数据的平方，与检测值本身相差太大，人们难以直观的衡量，所以常用方差开根号换算回来这就是我们要说的标准差。

在统计学中样本的均差多是除以自由度（n-1），它是意思是样本能自由选择的程度。当选到只剩一个时，它不可能再有自由了，所以自由度是n-1。

变异系数

标准差能很客观准确的反映一组数据的离散程度，但是对于不同的项目，或同一项目不同的样本，标准差就缺乏可比性了，因此对于方法学评价来说又引入了变异系数CV。

一组数据的平均值及标准差常常同时做为参考的依据。在直觉上，如果数值的中心以平均值来考虑，则标准差为统计分布之一“自然”的测量。

定义公式：其中N应为n-1，即自由度

标准差与平均值定义公式

⒈方差s^2=[（x1-x）^2+（x2-x）^2+......（xn-x）^2]（x为平均数）

⒉标准差=方差的算术平方根errorbar。在实验中单次测量总是难免会产生误差，为此我们经常测量多次，然后用测量值的平均值表示测量的量，并用误差条来表征数据的分布，其中误差条的高度为±标准误。这里即标准差。

standarddeviation和标准误standarderror的计算公式分别为

标准差

标准误

解释

从几何学的角度出发，标准差可以理解为一个从n维空间的一个点到一条直线的距离的函数。举一个简单的例子，一组数据中有3个值，X1,X2,X3。它们可以在3维空间中确定一个点P=（X1,X2,X3）。想像一条通过原点的直线。如果这组数据中的3个值都相等，则点P就是直线L上的一个点，P到L的距离为0，所以标准差也为0。若这3个值不都相等，过点P作垂线PR垂直于L，PR交L于点R，则R的坐标为这3个值的平均数：

公式

运用一些代数知识，不难发现点P与点R之间的距离（也就是点P到直线L的距离）是|PR|。在n维空间中，这个规律同样适用，把3换成n就可以了。

标准差标准误差

标准差与标准误差都是数理统计学的内容，两者不但在字面上比较相近，而且两者都是表示距离某一个标准值或中间值的离散程度，即都表示变异程度，但是两者是有着较大的区别的。

首先要从统计抽样的方面说起。现实生活或者调查研究中，我们常常无法对某类欲进行调查的目标群体的所有成员都加以施测，而只能够在所有成员（即样本）中抽取一些成员出来进行调查，然后利用统计原理和方法对所得数据进行分析，分析出来的数据结果就是样本的结果，然后用样本结果推断总体的情况。一个总体可以抽取出多个样本，所抽取的样本越多，其样本均值就越接近总体数据的平均值。

　　标准差表示的就是样本数据的离散程度。标准差就是样本平均数方差的开平方，标准差通常是相对于样本数据的平均值而定的，通常用M±SD来表示，表示样本某个数据观察值相距平均值有多远。从这里可以看到，标准差受到极值的影响。标准差越小，表明数据越聚集；标准差越大，表明数据越离散。标准差的大小因测验而定，如果一个测验是学术测验，标准差大，表示学生分数的离散程度大，更能够测量出学生的学业水平；如果一个测验测量的是某种心理品质，标准差小，表明所编写的题目是同质的，这时候的标准差小的更好。标准差与正态分布有密切联系：在正态分布中，1个标准差等于正态分布下曲线的68.26%的面积，1.96个标准差等于95%的面积。这在测验分数等值上有重要作用。

标准误差表示的是抽样的误差。因为从一个总体中可以抽取出无数多种样本，每一个样本的数据都是对总体的数据的估计。标准误代表的就是当前的样本对总体数据的估计，标准误代表的就是样本均数与总体均数的相对误差。标准误是由样本的标准差除以样本容量的开平方来计算的。从这里可以看到，标准误更大的是受到样本容量的影响。样本容量越大，标准误越小，那么抽样误差就越小，就表明所抽取的样本能够较好地代表总体。

一个正态分布的总体，抽取n个作为样本，可以得到样本平均值，用样本均值估计总体均值需要考虑样本均值的方差或标准差（也就是标准误差） [1] 

函数

Excel中有STDEV、STDEVP;STDEVA,STDEVPA四个函数，分别表示样本标准差、总体标准差；包含逻辑值运算的样本标准差、包含逻辑值运算的总体标准差（excel用的是“标准偏差”字样）。

在计算方法上的差异是：样本标准差^2=（样本方差/（数据个数-1））；总体标准差^2=（总体方差/（数据个数））。

函数的excel分解：

⑴stdev（）函数可以分解为（假设样本数据为A1：E10这样一个矩阵）：

stdev（A1：E10）=sqrt（DEVSQ（A1：E10）/（COUNT（A1：E10）-1））

⑵stdevp（）函数可以分解为（假设总体数据为A1：E10这样一个矩阵）：

stdevp（A1：E10）=sqrt（DEVSQ（A1：E10）/（COUNT（A1：E10）））

同样的道理stdeva（）与stdevpa（）也有同样的分解方法。

外汇术语

标准差指统计上用于衡量一组数值中某一数值与其平均值差异程度的指标。标准差被用来评估价格可能的变化或波动程度。标准差越大，价格波动的范围就越广，股票等金融工具表现的波动就越大。

在excel中调用函数

“STDEV“

估算样本的标准偏差。标准偏差反映相对于平均值（mean）的离散程度。

选基金

在投资基金上，一般人比较重视的是业绩，但往往买进了

基金的算法

近期业绩表现最佳的基金之后，基金表现反而不如预期，这是因为所选基金波动度太大，没有稳定的表现。

衡量基金波动程度的工具就是标准差（StandardDeviation）。标准差是指基金可能的变动程度。标准差越大，基金未来净值可能变动的程度就越大，稳定度就越小，风险就越高。

比方说，一年期标准差是30%的基金，表示这类基金的净值在一年内可能上涨30%，但也可能下跌30%。因此，如果有两只收益率相同的基金，投资人应该选择标准差较小的基金（承受较小的风险得到相同的收益），如果有两只相同标准差的基金，则应该选择收益较高的基金（承受相同的风险，但是收益更高）。建议投资人同时将收益和风险计入，以此来判断基金。例如，A基金二年期的收益率为36%，标准差为18%；B基金二年期收益率为24%，标准差为8%，从数据上看，A基金的收益高于B基金，但同时风险也大于B基金。A基金的"每单位风险收益率"为2（0.36/0.18），而B基金为3（0.24/0.08）。因此，原先仅仅以收益评价是A基金较优，但是经过标准差即风险因素调整后，B基金反而更为优异。

另外，标准差也可以用来判断基金属性。据晨星统计，股票基金的平均标准差为5.14，积极型基金的平均标准差为5.04；保守配置型基金的平均标准差为4.86；普通债券基金平均标准差为2.91；货币基金平均标准差则为0.19；由此可见，越是积极型的基金，标准差越大；而如果投资人持有的基金标准差高于平均值，则表示风险较高，投资人不妨在观赏奥运比赛的同时，也检视一下手中的基金。

参考：百度百科https://baike.baidu.com/item/%E6%A0%87%E5%87%86%E5%B7%AE/1415772?fr=aladdin

一、为什么？

对样本做回归分析的核心是使用最小二乘法去估计模型里的参数，比如核心解释变量前面的系数。我们通过最小二乘法使得残差平方和最小，求得样本估计系数。如果进行一次估计，由于干扰项e的存在，估计值与真实值之间一定存在差异。样本估计值与真实值之间的差别中，误差项起了关键作用。

误差项是一个随机变量，每次估计都会得到不同的差异值。关于样本估计系数性质的讨论，都以误差项为核心。我们希望样本估计系数特别好，接近真实值，所以必须有良好的性质，而良好的性质需要有前提条件，也就是一些假设。

比如，我们希望反复抽取多个样本得到多个样本估计系数，之后求平均值就等于真实系数，即无偏性，那么就需要干扰项e满足均值为零的假设（反复抽样消除干扰项的影响），就可以使得误差项均值为零，那么就可以使得样本估计系数的期望等于真实值。

由于每次抽样得到的估计系数都会不同，我们希望知道估计系数值分布的分散度，或者估计系数平均偏离真实值的程度，或者估计系数可能的误差范围，或者估计系数的精确程度。

如果误差范围越小，样本估计系数接近真实值的可能性就越大。这个用标准差来衡量，估计系数的标准差称为系数标准误。

1.1 异方差

1.1.1 异方差的后果

1.1.2 异方差的例子

1.2 自相关

1.2.1 自相关的后果

 1.2.2 自相关的例子

二、有什么？

2.1 普通标准误——同方差+不相关

干扰项协方差矩阵的形式是决定样本估计系数方差的关键。当求估计系数的方差的时候，需要求得干扰项的协方差矩阵，其主对角线上是第 i 个观测点的干扰项的方差，对角线外的项是第 i 个观测点和第 j 个观测点干扰项的协方差。

我们先提出两个假设来简化协方差矩阵：干扰项同方差假设和干扰项不相关假设。前者的含义是每个观测点干扰项的方差大小是相同的，后者的含义是不同观测点干扰项是不相关的。两种合起来的本质就是每个观测点的干扰项是从独立同分布中产生的。

这时候协方差矩阵就变得很简单，主对角线数值相同，主对角线以外是零。但是还有一个问题，里面有干扰项的方差，这是未知的，只能估计，需要利用样本残差值去估计。最终就能得到同方差和不相关假设下的ols系数估计值方差的估计量，开根号，然后就可以得到系数标准误差的估计量。这就是求得了系数估计值的标准误。

2.2异方差稳健标准误：异方差+不相关

现实中，会出现异方差的问题，即每个观测点的干扰项方差是不相等的，但是还是干扰项不相关。这意味着每个点的干扰项是从独立但是不相同的分布中产生的。这时候不影响估计系数的无偏性和一致性，但是标准误不能再按照之前的求法了，否则就会影响我们对系数估计值和真实值之间误差范围的判断，也就是说误差范围求的不准了。这时候就需要找到在异方差情况下正确的ols系数估计量方差。即求异方差稳健标准误。

这时候干扰项的协方差矩阵是对角矩阵，主对角线上不同观测点的方差可以是不同值，主对角线之外还是零。这时候计算的难点在于异方差矩阵包含了N个参数，即每个观测点的干扰项e都有自己的方差，但样本的每个观测点只能得到一个残差值。N个残差值无法提供足够的信息估计出N个方差。White指出在大样本下，只需要将干扰项协方差矩阵中的方差用对应的样本残差值替代即可。得到系数估计值方差的估计量，开根号，就可以得到异方差稳健标准误。

2.3聚类稳健标准误

2.3.1异方差+自相关

当出现自相关时，即不同观测点的干扰项是相关的。常见于时间序列数据。通常自相关伴随着异方差。这意味着每个观测点的干扰项是从相关并不相同的分布中产生的。

此时干扰项的协方差矩阵主对角线是不同的，对角线外也不为零。这时候估计方法是用相应的样本残差平方替代方差，样本残差乘积替代协方差。

2.3.2聚类稳健标准误：异方差+组内相关+组间不相关

当出现同一个类别内的干扰项相关，不同类别间的干扰项不相关，同时存在异方差，这时候又需要变化标准误的求法，即聚类稳健标准误。这时候干扰项的协方差矩阵由两层次组成：大的层次是将所有的观测点分组，按组来组成协方差矩阵，主对角线是不同的组的协方差矩阵，主对角线外是零，即异方差+组间不相关；小的层次是进入每个组，每个组都是一个协方差矩阵，主对角线是各个观测点的方差，主对角线外是协方差，即异方差+组内相关，类似于异方差+自相关。求法还是按照之前的用残差来估计。最终得到聚类稳健标准误。当分组到个体层面，那么就变成了自己跟自己相关，以及自己跟别人无关，其实就变成了不相关，即异方差+不相关，即异方差稳健标准误。

使用聚类标准误的前提是，聚类中的个体数较少，而聚类数很多；此时，聚类标准误是真实标准误的一致估计。

2.4总结

1. 估计系数的标准差称为系数标准误，目的是希望了解估计系数平均偏离真实值的程度，误差范围越小，样本估计系数接近真实值的可能性就越大。

2. 同方差和不相关假设下，用普通标准误；异方差和不相关假设下，用异方差稳健标准误；异方差、组内相关、组间无关假设下，用聚类稳健标准误。

3. 在哪个层面选择聚类？

这里估计系数方差的估计量有一个权衡：偏差与方差。当样本数量一定的时候，规模更大的集群考虑到了更广泛的相关项，偏差更小，但同时造成更少的集群数量，因此集群方差的估计较为不精确，方差更大。一般的共识是在没有由于集群数量过少引发问题的情况下，尽量使用更大的集群。合适的聚类层级需要依研究情境和数据特征而异。一个经验法则是：当核心解释变量的数据层级高于被解释变量时，标准误应聚类到核心解释变量所在层级。

此外，还有双向聚类和交互聚类。比如双向聚类在省份与行业层面，或者行业省份聚类。前者的含义是不仅仅要使得同一个省份内的不同个体的干扰项相关，还要使得同一个行业的不同个体的干扰项相关，这比单独的省份层面聚类或行业层面聚类都更加严格。后者的含义是要使得同一个省份以及同一个行业的不同个体的干扰项相关，这个要求就比较宽松。省份与行业双向聚类=省份聚类+行业聚类-省份*行业聚类（因为省份聚类中包括省份*行业聚类，行业聚类中也包括省份*行业聚类，所以需要减去一份）。

4. stata操作

4.1异方差稳健标准误

reg y x,r
=reg y x,robust
=reg y x,vce(robust)

4.2聚类稳健标准误

group是要聚类的层面，比如企业id、省份province、产业industry等

reg y x,cluster(group)
=reg y x,vce(cluster group)

xtreg y x,fe r
=xtreg y x,fe cluster(id)
=xtreg y x,fe vce(cluster id) 个体层面聚类

4.3交叉聚类

比如省份与行业交互，同一省份的同一产业组内相关，组间无关

egen province_industry=group(province industry)

sort province industry

reg y x,vce(cluster province_industry)
reg y x,cluster(province_industry)

4.4双向聚类

参见cgmreg或vce2way或vcemway

4.5 输出标准误结果
outreg2 using Table2,word drop(_I*) dec(3) tdec(3) bdec(3)  alpha(0.01,0.05,0.1) symbol(***,**,*) stats(coef tstat) e(r2_a) se append

Web 标准

    Web 标准也称网页标准，它由一系列标准组成，这些标准大部分由 W3C 负责制订，也有一些标准由其他标准组织制定的，如 ECMA 的 ECMAScript 标准等。 狭义的 Web 标准是指网页设计的 DIV+CSS 化，广义的 Web 标准是指网页设计要符合 W3C 和 ECMA 规范。 Java Script 负责开发网页的交互效果。 W3C 是 World Wide Web Consortium 的缩写，中文译为“万维网联盟”，是一个 Web 标准化组织。

为什么需要Web标准

    对于浏览器开发商和 Web 程序开发人员在开发新的应用程序时遵守指定的标准更有利于 Web 更好地发展。. 开发人员按照 Web 标准制作网页，这样对于开发者来说就更加简单了，因为他们可以很容易了解彼此的编码。. 使用Web标准，将确保所有浏览器正确显示您的网站而无需费时重写。. 遵守标准的Web页面可以使得搜索引擎更容易访问并收入网页，也可以更容易转换为其他格式，并更易于访问程序代码（如JavaScript和DOM）。. 提示： 你可以使用网页验证服务器验证页面的标准性。.
简单的来说Web标准好处拥有以下几点

1. 让Web的发展前景更广阔
2. 内容能被更广泛的设备访问
3. 更容易被搜索引擎搜索
4. 降低网站流量费用
5. 使网站更易于维护
6. 提高页面浏览速度
   

Web标准构成

标准构成	说明	示例
结构	结构用于对网页元素进行整理和分类，主要是HTML。
表现	表现用于设置网页元素的版式、颜色、大小等外观样式，主要指的是CSS
行为	行为是指网页模型的定义及交互的编写，主要是 Javascript

ps：

1. web标准有三层结构，分别是结构（html）、表现（css）和行为（javascript）
2. 结构类似人的身体， 表现类似人的着装， 行为类似人的行为动作
3. 理想状态下，他们三层都是独立的， 放到不同的文件里面