• 关于非参数统计学习的课程资料，各种理论证明，以及习题答案。（已获授权） ma
• 《现代非参数统计》是“All of Nonparametric Statistics”的中译本，源于作者为研究生开设的课程讲义，包括了几乎所有的现代非参数统计的内容．这种包罗万象的书不但国内没有，在国外也很难找到。《现代非参数统计...
• 学R和学非参数统计的好教材书。大牛吴喜之的经典教材之一
• 非参数统计 pythonOnce one has a good understanding of the data they have to work with, they next need to decide what they aim to answer with this information. Understanding the problem at hand is part...
非参数统计 pythonOnce one has a good understanding of the data they have to work with, they next need to decide what they aim to answer with this information. Understanding the problem at hand is part of the Business Understanding step in the Data Science Process. 一旦对要使用的数据有了很好的了解，他们接下来就需要决定他们打算用这些信息来回答什么。 了解当前问题是数据科学流程中“业务理解”步骤的一部分。
A business question with a data solution can often be posed as a hypothesis. For example “Is there a difference in the customer conversion rate between our old website design and a proposed new layout?” Having a hypothesis to test is a must-have before statistical testing can occur. 带有数据解决方案的业务问题通常可以被假设为假设。 例如，“我们的旧网站设计与建议的新布局之间的客户转化率是否有所不同？” 要进行统计检验，必须有一个假设要检验。
Two types of hypotheses are exploratory and confirmatory; as the names might suggest, exploratory analysis seeks to uncover the “why” and dig into the data while confirmatory hypotheses are more applicable when you have a pretty good idea of what is going on with the data and need evidence to support thinking. It is important to decide a priori which of your hypotheses belong to these categories. It has been argued that limiting exploratory hypothesis testing can help to increase certainty in results. 两种类型的假设是探索性的和证实性的； 顾名思义，探索性分析旨在找出“原因”并挖掘数据，而当您对数据的运行状况有了很好的了解并且需要证据来支持思维时，确认性假设就更适用。 事先确定您的假设属于这些类别非常重要。 有人认为 ，限制探索性假设检验可以帮助增加结果的确定性。
Once the hypothesis has been determined, the next question to answer is “am I comparing the mean or the median of two groups?”. Parametric tests will compare group means, while non-parametric tests compare group medians. A common misconception is that the decision rests solely on whether the data is normally distributed or not, especially when there is a smaller sample size and distribution of the data can matter significantly. Other factors should also be considered. 确定假设后，下一个要回答的问题是“我是否在比较两组的均值或中位数？”。 参数测试将比较组均值，而非参数测试将比较组中位数。 一个常见的误解是，决策完全取决于数据是否正常分发，尤其是在样本量较小且数据分发可能很重要的情况下。 还应该考虑其他因素。
Parametric tests are widely regarded as handling data that is normally distributed — data with a Gaussian distribution — well. However, parametric tests also: 参数测试被广泛认为是处理正态分布的数据(具有高斯分布的数据)。 但是，参数测试也：
Work well with skewed and non-normal distributions. 与偏斜和非正态分布一起很好地工作。 Perform well when the spread of each group is different or the groups have different amounts of variability. 当每个组的传播不同或组具有不同的可变性时，请表现良好。 Typically have more statistical power than non-parametric tests. 通常具有比非参数检验更大的统计能力。 If sample size is sufficiently large and group mean is the preferred measure of central tendency, parametric tests are the way to go. 如果样本量足够大并且组均值是集中趋势的首选度量标准，则应进行参数检验。
If group median is the preferred measure of central tendency for the data, go with non-parametric tests regardless of sample size. Non-parametric tests are great for comparing data that is prone to outliers, like salary. They are also useful for data with small sample size and/or non-normal, and are especially useful for working with ordinal or ranked data. You should also stick with non-parametric tests for ordinal and ranked data. 如果组中位数是数据集中趋势的首选度量，则无论样本量大小，均应使用非参数检验。 非参数测试非常适合比较容易出现异常值的数据，例如薪水。 它们对于样本量较小和/或非正常的数据也很有用，对于处理序数或排序数据特别有用。 您还应该坚持对序数和排名数据进行非参数测试。
Some of the most commonly used statistical parametric tests and their non-parametric counterparts are as follows: 一些最常用的统计参数检验及其对应的非参数检验如下： Where n = sample sizeThere are also tests which compare correlation — looking for associations between variables e.g. Pearson, Spearman, Chi-Squared — and regression tests — seeing if a change in one or more independent variables will predict the change in a dependent variable e.g. simple & multiple regression. 还有一些比较相关性的测试(寻找变量之间的关联，例如Pearson，Spearman，Chi-Squared)和回归测试，以查看一个或多个自变量的变化是否可以预测因变量的变化，例如简单回归和多元回归。
A quick overview of when you might use each of the above tests: 关于何时可以使用上述每个测试的快速概述：
The Paired t test is used when you are looking at one population sample with a before and after score or result. This could be comparing a classroom of students beginning of year proficiency on reading to their end of year proficiency to determine if there was growth or decrease in understanding. The non-parametric counterpart is the Wilcoxon Signed Rank test, which can be used to determine whether two dependent samples were selected from populations having the same distribution and takes into account the magnitude and direction of the difference. 当您查看一个总体得分之前或之后或结果之后的样本时，将使用成对t检验 。 这可能是将学生从一年级开始的阅读能力与年末水平的阅读能力的课堂进行比较，以确定理解的增加还是减少。 非参数对应项是Wilcoxon Signed Rank检验 ，该检验可用于确定是否从分布相同的总体中选择了两个相关样本，并考虑了差异的大小和方向。
The Unpaired t test, also widely known as the 2-sample or independent t test, is used to compare two samples from different, unrelated groups to determine if there is a difference in the group means. The Mann-Whitney U test, also known as the Wilcoxon rank-sum test, is similar to the Wilcoxon Signed Rank test but measures the magnitude and direction of the difference between independent samples. 未配对t检验 (也称为2样本或独立t检验)用于比较来自不同，不相关组的两个样本，以确定组均值是否存在差异。 Mann-Whitney U检验 (也称为Wilcoxon秩和检验)与Wilcoxon Signed Rank检验相似，但测量独立样本之间差异的大小和方向。
Finally, the One-way ANalysis Of VAriance (ANOVA) is used to determine difference in group means for two or more groups where there is one independent variable with at least two distinct levels. An example of this would be predicting the weight of a dog based on breed given a set of dogs of different breeds. The Kruskal Wallis test, an extension of the Mann-Whitney U test for comparing two groups, can be used to compare medians of multiple groups where the distribution of residuals is assumed to not be normal. 最后， 单方差分析(ANOVA)用于确定两个或多个组的组均值差异，其中两个或多个组存在一个具有至少两个不同水平的自变量。 一个例子是给定一组不同品种的狗，根据品种预测狗的体重。 Kruskal Wallis检验是Mann-Whitney U检验的扩展，用于比较两组，可用于比较假定残差分布不正常的多个组的中位数。
There are certain assumptions that are made for data that is to be analyzed using parametric tests. The four assumptions are that 1) the data is normally distributed (or that difference between the samples is normally distributed for paired test), 2) there is similarity in variance in the data, 3) sample values are numeric and continuous, and 4) that sample observations are independent of each other. The below functions from the statsmodels.api module allow us to explore these assumptions during data exploration. 对于要使用参数测试进行分析的数据，存在某些假设。 这四个假设是：1)数据是正态分布的(或成对测试的样本之间的差异是正态分布的)，2)数据的方差相似，3)样本值是数字和连续的，以及4)样本观测值彼此独立。 statsmodels.api模块中的以下函数使我们能够在数据探索期间探索这些假设。
statsmodels.api.graphics.plot_regress_exog()statsmodels.api.graphics.qqplot()Let’s examine how to call up these tests in Python 3. First, the parametric data: 让我们研究一下如何在Python 3中调用这些测试。首先，参数数据：
The stats module is a great resource for statistical tests. 统计模块是统计测试的重要资源。
Paired t test is 配对t检验为
scipy.stats.ttest_relUnpaired t test is 未配对的t检验是
scipy.stats.ttest_indFor ttest_rel and ttest_ind, the P-value in the output measures an alternative hypothesis that 𝜇0 != 𝜇1; for one-sided hypothesis, e.g. 𝜇0 > 𝜇1, divide p by 2 and if p/2 < alpha (usually 0.05). 对于ttest_rel和ttest_ind，输出中的P值会度量另一个假设：𝜇0！= 𝜇1； 对于单面假设(例如𝜇0> 𝜇1)，将p除以2，如果p / 2 <alpha(通常为0.05)。 One-way ANOVA is 单向方差分析是
scipy.stats.f_onewayA significant P-value signals that there is a difference between some of the groups, but additional testing is needed to determine where the difference lies. 显着的P值表示某些组之间存在差异，但是需要进行额外的测试才能确定差异所在。 For the non-parametric data: 对于非参数数据：
Wilcoxon Signed Rank is 威尔科克森签名等级为
scipy.stats.wilcoxonWilcoxon Rank-Sum is 威尔科克森排名和为
scipy.stats.ranksumsSigned rank and rank-sum tests should be used for continuous distributions. 有符号的等级和等级和检验应用于连续分布。 Kruskal Wallis is: Kruskal Wallis是：
scipy.stats.kruskal(group1, group2, group3)Similar to ANOVA, rejection of the null hypothesis does not tell us which of the groups is different, so additional post hoc group comparison is necessary. 与ANOVA相似，对原假设的拒绝并不能告诉我们哪个组不同，因此有必要进行额外的事后组比较。 In terms of takeaways, it is never good practice to conclude on the results of one test, but significant findings should lead to additional investigation. Bonferroni corrections, a topic for another time, can be used to reduce spurious positives. 就外卖而言，总结一项测试的结果永远不是一个好习惯，但是重要的发现应该导致进一步的调查。 Bonferroni校正是另一个话题，可以用来减少假阳性。
翻译自: https://medium.com/@zachary.a.zazueta/parametric-vs-non-parametric-statistical-tests-in-python-9c7ab48e954a非参数统计 python
展开全文  python java linux 机器学习 人工智能
• ## 非参数统计概述

千次阅读 2019-11-16 22:48:05
非参数统计概述 文章目录非参数统计概述引言非参数方法举例Wilcoxon 符号秩检验Wilcoxon秩和检验 引言 非参数统计(nonparametric statistics)是相对于参数统计而言的一个统计学分支,是数理统计的重要内容。在参数...
非参数统计概述
文章目录非参数统计概述引言非参数方法举例Wilcoxon 符号秩检验Wilcoxon秩和检验斯皮尔曼相关性检验BootstrapPermutation小结
引言
非参数统计(nonparametric statistics)是相对于参数统计而言的一个统计学分支,是数理统计的重要内容。在参数统计中，我们往往碰到的是这样的情况：

总体分布的数学形式已知（例如正态分布、指数分布等）。
总体分布的概率密度函数中含有有限个参数。

然而实际情况往往不是这样，我们通常不知道总体分布的数学形式，或者虽然已知总体的分布但却不能用有限个参数去刻画，我们只能对总体做出一些简单的假定（例如总体分布是连续的或者离散的，总体分布是否对称），这时如果我们要对总体的某些性质进行估计或者假设检验，就需要使用非参数方法。
非参数方法是一种不依赖于总体分布具体形式的统计推断方法，构造统计量通常与总体分布无关，也就是说，非参数方法与总体分布无关，因此，非参数方法也被称为自由分布（distribution-free）方法。非参数方法具有如下的特点：

适用面广但针对性较差。
对变量的量化要求很低。无论是分类变量和数值变量，都可以使用非参数方法进行估计或检验。
非参数方法对于数据的要求不如参数方法严格。
非参数方法具有较好的鲁棒性，不容易受数据中极端值和离群点的影响。
对于符合参数方法条件的数据，使用非参数方法会使犯第二类错误的概率增大，即统计功效会更小。

由以上的特点，我们可以总结出选用参数方法和非参数方法的原则：

如果中位数（而不是均值）更能反应数据的集中趋势时（极端值较多），应当选用非参数方法。
如果数据为定序变量（如优良中）时，应当采用非参数方法。
如果数据符合参数方法的条件时，应当优先选用参数方法。

接下来我们来详细讨论一些非参数方法的例子。
非参数方法举例
Wilcoxon 符号秩检验
Wilcoxon符号秩检验（signed-rank test）对应着参数方法中的单样本t检验法和配对样本t检验法。接下来我们通过一个例子来讲解Wilcoxon符号秩检验的步骤。
假设我们研究的课题是上培训班是否会提升学生成绩，我们收集到的数据如下：

Before
After

72
60

62
86

70
83

60
53

75
75

55
65

71
89

48
56

根据这一张表格，我们可以进一步得到这样的另一张表格。

Diff
Signed-rank

-12
-4

24
7

13
5

-7
-1

0

10
3

18
6

8
2

其中，Diff是拿右边一列减去左边一列得到的数据，而得到Signed-rank略显复杂，首先我们将Diff的绝对值从小到大进行排名(rank)，分别编上1-n的编号，然后根据Diff的实际符号，给排名也添加上相同的符号，我们就得到了样本的符号秩（signed-rank），我们就由符号秩来构造统计量。
需要注意的是，我们进行Wilcoxon符号秩检验时，不考虑Diff=0的情况，我们要将Diff=0的数据去除。
接下来我们用符号秩来构造统计量$Z$：$Z = \frac{\sum^n_{i=1}SR_i}{\sqrt{\sum^n_{i=1}SR_i^2}}$
与参数方法中的$Z$统计量一样，$Z$~$N(0,1)$，于是我们算得$Z$统计量之后，就可以通过标准正态分布来计算p值，在上面这个例子中：$Z=1.52$
我们进行一个双尾检验，查表可得$p-value=2*(1-0.9357)=0.1286>0.05$
得出结论：应当接受零假设，成绩与是否上辅导班无关。
Wilcoxon秩和检验
Wilcoxon秩和检验（rank-sum test）用于检验两个总体的中位数是否相等，适用于中位数能更好的反应总体集中趋势的情况，对应了参数方法中的Two sample t-test，同样我们通过一个例子来讲解Wilcoxon秩和检验的过程。
我们仍然使用上面的表格，只不过我们这次研究的题目是成绩是否与性别有关。（实际上，两列数据的样本容量可以不同）可以发现，这样一来，数据中的行不再是一一对应关系。

Male
Female

72
60

62
86

70
83

60
53

75
75

55
65

71
89

48
56

我们将两列数据合在一起，进行从小到大的排序，求出它们的秩（秩的英文为rank，也可以翻译为排名）。

Rank(Male)
Rank(Female)

11
5.5

7
14

9
13

5.5
2

12.5
12.5

3
8

10
15

1
4

需要注意的是，当出现多个样本值相同时，它们的秩应当等于它们占用的秩的位置的平均值。接下来我们来构造统计量，首先我们将每一列元素的秩进行求和：
$Sum1 = \sum_i^{n_1}{R_1}$$Sum2 = \sum_i^{n_2}{R_2}$
设两个变量的样本容量分别是$n_1$,$n_2$，我们构造下面的统计量：
$W=Sum1 - \frac{n_1*(n_1+1)}{2}$
同样的，利用$Sum2$也可以构造一个这样的统计量，但实际上检验一个即可。我们同样避开直接寻找$W$的分布，我们选择再构造一个统计量：
$Z=\frac{W-n_1n_2/2}{\sqrt{n_1n_2(n_1+n_2+1)/12}}$
同样的，$Z$~$N(0,1)$，接下来我们就可以在标准正态分布中查找到$P-value$，从而做出是否拒绝零假设的判断。
在上面这个例子中，我们计算得到：
$W=23$$Z=-0.945$
查表得到对应的p值为:
$p-value=2*(1-0.8289)=0.3422>0.05$所以我们应当接受零假设，成绩与性别无关。
斯皮尔曼相关性检验
在参数统计中，我们学习过一个相关系数$\rho_{xy}$，它的定义如下：$\rho_{xy}=\frac{Cov(X,Y)}{S_XS_Y}$实际上，我们把这个相关系数称为皮尔逊相关系数(Pearson Correlation)，而接下来我要介绍的是另一个相关系数，称为斯皮尔曼相关系数(Spearman Correlation)。
首先举一个例子，假设我们研究的课题是学生考试分数与课堂满意度是否相关，我们采集到了这样一组数据：

Score
Happiness

30
不满意

40
一般

50
不满意

60
一般

70
满意

80
满意

90
满意

100
满意

可以看到，这里的Happiness数据是定序变量，我们没有办法计算它的方差和它与定距变量的协方差，但我们可以对它们进行排序，参考前两种方法，我们这两列数据分别排序并求出它们的秩。

Rank(Score)
Rank(Happiness)

1
1.5

2
3.5

3
1.5

4
3.5

5
6.5

6
6.5

7
6.5

8
6.5

同样的，对于相同的样本值，我们也要采用取平均值的方法求它们的秩。接下来我们对这两列秩求它们的皮尔逊相关系数，得到的就是原数据的斯皮尔曼相关系数：
$\rho=\frac{Cov(R_1,R_2)}{S_{R_1}S_{R_2}}$另外还有一个简便计算公式，设样本容量为$n$：
$\rho=1-\frac{6\sum{d_i^2}}{n(n^2-1)}$然后，与参数方法中的皮尔逊相关性检验类似，有：
$\frac{\rho}{\sqrt{1-\rho^2}/\sqrt{n-2}}\sim t(n-2)$
然后在$t$分布中计算$p-value$，做出判断。
Bootstrap
Bootstrap简单的来说，我们已有一个容量为$n$的原始样本，利用随机数等方式进行放回抽样得到一个容量同样为$n$的样本，这种样本就称为Bootstrap样本或自助样本。
我们反复地、独立地从原始样本中抽取很多很多个Bootstrap样本（通常不少于1000个），利用这些样本对总体进行统计推断，这种方法被称为非参数Bootstrap方法，又称为自助法。
我们使用成绩与性别关系的数据：

Male
Female

72
60

62
86

70
83

60
53

75
75

55
65

71
89

48
56

我们对两列数据进行有放回抽样，得到了1000个Bootstrap样本，记作$D_1$-$D_{1000}$。我们需要分析的是两个样本之间的中位数是否有差异，因此我们将每一个Bootstrap样本的中位数差值求出来，用这1000个数据的中位数差构成一个统计分布，用直方图表示： 然后我们再根据已知的中位数差值，在这个统计分布中计算p值、置信区间等，做出统计推断。
Bootstrap是一种非常重要的方法，常常应用于各种玄学建模 。需要注意的是Bootstrap方法也有参数版本的方法，在这里并不讨论。
Bootstrap实现的Python代码如下：
# -*- coding: UTF-8 -*-
import numpy as np
import matplotlib.pyplot as plt
def bootstrap(data):
temp = []
while len(temp) != len(data):
r = np.random.randint(0,len(data))
temp.append(data[r])
temp = np.array(temp)
return temp

if __name__ == "__main__":
male = np.array([72,62,70,60,75,55,71,48])
female = np.array([60,86,83,53,75,65,89,56])
v = []
for i in range(2000):
mbootstrap = bootstrap(male)
fbootstrap = bootstrap(female)
v.append(np.median(mbootstrap) - np.median(fbootstrap))
v = np.array(v)
plt.hist(v,bins=50)
plt.show()

Permutation
Permutation，翻译为中文就是排列、置换的意思。在参数方法中进行假设检验，我们一般是假设或者已知总体的分布，然后构造统计量，得到这个统计量在零假设为真时的抽样分布，然后在抽样分布中计算p值，做出推断。而Permutation使得我们可以得到对任意统计量在零假设为真时的抽样分布，从而进行统计推断。接下来我们举例说明Permutation的过程。
我们仍然使用成绩与性别的关系数据：

Male
Female

72
60

62
86

70
83

60
53

75
75

55
65

71
89

48
56

$H_0:男女成绩中位数没有差异$ $H_1:男女成绩中位数有差异$
Permutation与Bootstrap类似，我们也需要将以下的步骤重复1000次以上：

把所有数字随机分配给Male($n_1=8$)和Female($n_2=8$)
计算Male和Female的中位数
计算并保存median（M）-median（F）

重复1000次以上之后，我们就可以得到两组数据中位数差的近似分布，用直方图表示： 这样我们就获得了中位数差统计量的统计分布，然后我们根据这个分布和实际的中位数差，我们就可以计算出p值，从而进行统计推断。
Permutation的Python代码如下：
# -*- coding: UTF-8 -*-
import numpy as np
import matplotlib.pyplot as plt

def permutation(data):
perm = []
num = set([])
while len(perm) != len(data):
r = np.random.randint(0, 16)
if r not in num:
perm.append(data[r])
perm = np.array(perm)
return perm

if __name__ == "__main__":
data = np.array([72, 62, 70, 60, 75, 55, 71, 48, 60, 86, 83, 53, 75, 65, 89, 56])
diff = []
for i in range(3000):
temp = permutation(data)
df = np.median(temp[:8]) - np.median(temp[8:])
diff.append(df)
diff = np.array(diff)
plt.hist(diff, bins=50)
plt.show()

小结
在这一篇博文中，我主要介绍以下几种非参数统计方法：

Wilcoxon符号秩检验
Wilcoxon秩和检验
Spearman相关性检验
Bootstrap
Permutation

但无论是参数方法还是非参数方法都属于频率论的范畴，它们都存在着一个致命的缺陷：它们的检验过程是在假定零假设成立的情况下进行的，为了解决这个问题，需要把目光投向另一个统计学领域——贝叶斯统计。


展开全文  统计学
• ## 非参数统计检验

千次阅读 2018-11-28 12:59:20
非参数统计分析
非参数统计的方法用于总体分布未知的情形，其目的在于检验一个变量的分布在不同组中是否具有相同的位置参数。
NPAR1WAY语句
功能
格式：
proc npar1way data=数据集名 [选项];
by 变量名;
class 变量名;
var 变量名;
run;

注：
proc的选项：
i.wilcoxon：指定使用Wilcoxon秩和分析方法；
ii.noprint：结果输出窗口不显示计算结果；
例
单个样本的非参数检验
此情形使用Univariate过程。
目的： 检验某个样本均值是否等于特定值。
某产品标注的净含量为1kg，现对该产品进行抽样统计分析，试判断该产品重量是否与标注一致？ 代码：
data test;              /*创建数据集*/
input x @@;
cards;
0.998 0.997 0.995 0.994 0.990 0.981 0.986 0.995
0.976 0.986 0.996 0.976 0.965 0.986 0.992 1.001
0.985 1.002 0.999 0.993 0.994 0.995 0.993 0.991
0.975 0.984 0.976 0.954 0.987 0.986 0.985 0.976
;
run;
proc univariate data=test mu0=1;   /*设置mu0为1，检验其*均值是否为1/
var x;
run;


结果：
给出了一些基本统计信息： 下图显示秩检验的p值<0.05的显著水平，应拒绝原假设： 两样本的非参数检验
概述： 当两个独立样本来自正态分布和具有相同的方差时，一般采用T检验比较均值。当样本不满足这两个条件时，则采用Wilcoxon秩和检验。
对某校高一高二学生的英语学习能力作评价，主要测试学生的口语能力，测试分数如下，分析两个年级的学生英语口语能力是否有显著差异？ 代码：
data test;                        /*创建数据集*/
input x type; cards; 78 1 67 1 88 1 98 1 78 1 77 1 65 1 85 1 70 1 67 2 78 2 69 2 87 2 85 2 87 2 90 2 65 2 77 2 ; run; proc npar1way data=test wilcoxon; /*进行wilcoxon检验*/ class type; /*指定分组变量*/ var x; /*指定非参数检验变量*/ run;  结果： t检验双边概率值为1，故可接受原假设，认为这两个年级的口语能力是无显著差别的。 多个样本的非参数检验 概述： 当多个样本数据满足正态分布且具有相等的方差时，比较它们的均值可以采用方差分析。当数据不满足上述条件时，可采用多样本均值比较的非参数Kruskal-Wallis秩和检验。此检验的目的是分析某个变量在另一分类变量取不同值时，它的取值（用位置统计量衡量）是否有显著不同。 编程实现： NPAR1WAY过程可以实现，与两样本情形不同的是，class语句的分类变量它有两个以上的取值水平。 成对样本的非参数检验 类似于单样本的非参数检验，使用Univariate过程，成对的数据作差处理，检验其均值是否显著为0。 现对某培训机构的培训后的学员的基础能力是否有提高进行抽样调查，学生培训前后的成绩如下表。 代码： data test; /*创建数据集*/ input x y; d=x-y; cards; 89 95 78 88 96 95 78 87 74 80 75 83 84 90 79 76 80 83 85 88 ; run; proc univariate data=test; /*配对样本的符号检验*/ var d; run;  结果： 符号检验的p值大于0.05，说明应该接受原假设，即认为培训前后的成绩没有显著差别。 展开全文  SAS入门 • 非参数统计是21世纪统计理论的三大发展方向之一。标准的参数方法强烈地依赖于对数据分布的假设，而非参数方法对模型要求甚少，且更加简单和稳健。随着计算工具的发展，非参数统计模型在许多领域中有越加广泛的应用。... • 研究论文 • 非参数统计:方法与应用》作为该课题的一个成果1996年奉献给读者。第一，作者在承担国家教委人文社会科学研究八五规划项目博士点基金项目年代我国居民消费结构及倾向的研究过程中，感到在很多情况下，参数统计方法... • 秩和检验 • 目录导引非参数统计基本概念1.1 假设检验1.2 经验分布1.2.1 经验分布1.2.2 生存函数1.3 检验的相对效率1.4 分位数1.5 秩与秩检验统计量1.6 U统计量 这一个系列的笔记和整理希望可以帮助到正在学习非参数统计的同学。... 目录导引1 非参数统计基本概念1.1 假设检验1.1.1 假设检验基本原理1.1.2 Power Function1.1.3 无偏检验概念1.1.4 Neyman-Pearson 引理1.2 经验分布1.2.1 经验分布1.2.2 生存函数1.3 检验的相对效率1.4 分位数1.5 秩与秩检验统计量1.5.1 无结点秩1.5.2 有结点秩1.5.1.1 基本概念1.5.1.2 性质1.6 U统计量1.6.1 单样本1.6.2 两样本问题列表 这一个系列的笔记和整理希望可以帮助到正在学习非参数统计的同学。我会慢慢更新各个章节的内容。 1 非参数统计基本概念 1.1 假设检验 1.1.1 假设检验基本原理 一句话理解：考察样本数据是否支持我们对总体的某种猜测 搞明白假设检验需要搞明白三个问题： 1、如何选择原假设和备择假设 （1）我们通常将样本显示出的特点作为对总体的猜想，优先将其选作备择假设 （2）$H_0$是相对于$H_1$给出的 （3）常见的备择假设：变量相关、多组样本位置参数不同 2、$p$值和显著性水平的作用是什么 （1）假设检验的关键是检验统计量$T=T(X_1,X_2,...,X_n)$及其在$H_0$下的分布情况 （2）$p=P\{|T|>t_0\}$越小，说明拒绝原假设犯错误的代价越小，即第一类错误概率 3、两类错误 （1）拒真错误 | decline $H_0$ while $H_0$ is true （2）取伪错误 | accept $H_0$ while $H_1$ is true 1.1.2 Power Function 势函数刻画了检验统计量 $T$ 落入拒绝域的概率，我们先规范假设检验问题如下再一并给出势函数定义 $H_0:\theta \in \Theta_0 \quad v.s. \quad H_1:\theta \in \Theta_1,\quad \Theta_0 \cap \Theta1 = \empty$ $g_{T_n}(\theta)=P\{T_n\in W\}, \quad \theta=\Theta_1 \cup \Theta_2$ 当$\theta \in \Theta_0$时，$g_{T_n}(\theta)$反映了犯第一类错误的概率。 当$\theta \in \Theta_1$时，$g_{T_n}(\theta)$反映了不犯第二类错误的概率。 举个例子，考虑$H_0:\lambda \geqslant1\leftrightarrow H_1:\lambda < 1$，以$\sum_{i=1}^n x_i$为充分统计量，构造拒绝域$\{\sum_{i=1}^n x_i.则可以得到第一类错误和第二类错误的概率表达式，分别都是$\lambda$的函数 $\alpha(\lambda) = P\{\sum_{i=1}^n x_i $\beta(\lambda) = 1-P\{\sum_{i=1}^n x_i 1.1.3 无偏检验概念 一个检验不犯第二类错误的概率不小于犯第一类错误的概率： P\{T\in W\}=\left \{ \begin{aligned} \leqslant \alpha, \theta \in \Theta_0\\ \geqslant \alpha, \theta \in \Theta_1 \end{aligned} \right. 举一个例子，对于分布函数$p(x)=\frac{1}{\theta}e^{-\frac{x}{\theta}},0 考虑假设检验$H_0:\theta=2 \leftrightarrow H_1:\theta > 2$ 设置拒绝域$W:\{(x1, x2):9.5 那么有落入拒绝域的概率为： $P\{(x1, x2)\in W\}=1-P\{x_1+x_2\leqslant 9.5\} \\ =1-\int_{0}^{9.5}\int_{0}^{9.5-x_2}\frac{1}{\theta^2}e^{-\frac{x_1+x_2}{\theta}}dx_1dx_2=\frac{\theta+9.5}{\theta}e^{\frac{-9.5}{\theta}}$ 带入$H_0$得到$\alpha=0.0497\approx 0.05$，另外一头的$\beta\geqslant 0.05$ 1.1.4 Neyman-Pearson 引理 1.2 经验分布 1.2.1 经验分布 经验分布函数 $\hat F_n(x)=\frac{1}{n}\sum_{i=1}^nI(X_i\leqslant x)$ 经验分布函数的性质 （1）$E(\hat F_n(x))=F(x),Var(\hat F_n(x))=\frac{F(x)(1-F(x))}{n}$ （2）$MSE=Var+bias^2=Var\to 0(n \to \infty)$，而$\hat F_n(x)\stackrel{P}{\longrightarrow} F(x)$ （3）$\sup\limits_{x} | \hat F_n(x)-F(x)| \stackrel{a.s.}{\to} 0$ （4）DKW: $\forall \epsilon >0,P\{\sup\limits_{x} | \hat F_n(x)-F(x)|>\epsilon\}\leqslant 2e^{-2n\epsilon^2}$ 其中，关于DKW不等式，可以得到对于任意分布函数的一个置信区间，只需要令 \begin{aligned} \epsilon_n^2&=ln(\frac{2}{\alpha})/(2n) \\ L(x) &= \max \{\hat F_n(x)-\epsilon_n, 0\} \\ U(x) &=\min \{\hat F_n(x)+\epsilon_n, 1\} \end{aligned} 就可以证明$[L(x),U(x)]$是一个$F(x)$的$1-\alpha$置信区间 $P\{L(x)\leqslant F(x) \leqslant U(x)\}\geqslant 1-\alpha$ 1.2.2 生存函数 生存函数定义 在$t$时刻存活的概率，与分布函数相斥 $S(t)=P(T>t)=1-F(t)$ 危险函数定义 在$t$时刻存活的瞬时死亡率，为对数生存函数的负导数 $h(t)=\frac{f(t)}{1-F(t)}=-\frac{d}{dt}ln(S(t))$ 生存函数的估计 $S_n(t)=1-F_n(t)=1-\frac{1}{n}\sum_{i=1}^nI(t_i\leqslant t)$ 对数经验生存函数的方差 \begin{aligned} \because var(g(x)) &\approx [g'(x)]^2var(x)\quad and \quad F_n(t) \approx F(t) \\ \therefore var\{ln[1-F_n(t)]\} &\approx \frac{var[1-F_n(t)]}{[1-F(t)]^2} \\ &=\frac{1}{n}\frac{F(t)[1-F(t)]}{[1-F(t)]^2} =\frac{F(t)}{n[1-F(t)]} \end{aligned} 1.3 检验的相对效率 对于同一个假设检验问题，不同的统计量有不同的是函数，一般好的检验有较大的势。在显著性水平固定的情况下，样本量越大，势越大。比较两个检验的相对效率相当于比较两个检验在相同的势条件下，需要的样本量大小，量小者更优。 渐进相对效率的英文是Asymptotic Relative Efficiency, Pitman ARE是一个代表 针对原假设只取单个值的假设检验问题$H_0:\theta=\theta_0\leftrightarrow H_1:\theta \neq \theta_0$，在原假设的一个邻域内，固定势$1-\beta$，令备择假设$\theta_i$逼近原假设$\theta_0$，将两个统计量的样本量比值极限定义为渐进相对效率。 取一个序列$\lim\limits_{i \to \infty}{\theta_i}=\theta_0,\theta_i \neq \theta_0$，构造两种检验统计量$V,T$在第$i$个备择假设下需要样本量为$n_i,m_i$. 在$H_0$成立时,$\lim\limits_{i\to \infty}{g_{V_{n_i}}(\theta_0)} = \lim\limits_{i\to \infty}{g_{T_{m_i}}(\theta_0)}=\alpha$ 在$H_1$成立时,\$
通过一个定理，可以得到Pitman ARE的简便解法：
1.4 分位数
顺序统计量与分布函数
分位数的定义

假定$X$服从概率密度为$f(x)$的分布，令$0，满足等式$F(m_p)=P(X唯一的根$m_p$称为分布$F(x)$的$p$分位数

对于连续分布只需要

满足等式$F(m_p)=P(X的唯一的$m_p$

对比两个定义的差异性，离散性分布可能在$m_p$上的概率非零，使得$F(m_p+)>F(m_p)$，找不到一个$F(m_p)=p$的完美解，而连续分布显然可以。
分位数的估计
m_p=\left \{ \begin{aligned} X_{(k)} \quad\quad\quad\quad\quad\quad\quad\quad &, \frac{k}{n+1}=p ,\\ X_{(k)}+(X_{(k+1)}-X_{(k)})[(n+1)p-k]&, \frac{k}{n+1}
注意，[(n+1)p-k]是一个连续插值
分位数可视化应用

箱线图
QQ图

1.5 秩与秩检验统计量
1.5.1 无结点秩
$R_i=\sum_{j=1}^n I(X_j \leqslant X_i)$
对于SRS样本$\{X_1,X_2,...,X_n\}$，其秩$\{R_1,R_2,...,R_n\}$等可能地取$(1,2,...,n)$的$n!$种排列中的一个。
$P(R=(i_1,i_2,...,i_n))=\frac{1}{n!}$
期望与方差
\begin{aligned} E(R_1)&=\frac{n+1}{2} \\ Var(R_i)&=E(R_i^2)-[E(R_i)]^2 \\ &= \frac{n(n+1)(2n+1)}{6}\frac{1}{n}-\frac{(n+1)^2}{2^2} \\ &= \frac{n^2-1}{12} \\ cov(R_i,R_j) &=E[R_i-E(R_i)][R_j-E(R_j)] \\ &=-\frac{n+1}{12} \end{aligned}
秩和与平方秩和
\begin{aligned} \sum_{i=1}^n \alpha(R_i) &=\sum_{r=1}^n r \\ &=\frac{n(n+1)}{2} \\ \sum_{i=1}^n \alpha(R_i)^2 &=\sum_{r=1}^n r^2 \\ &=\frac{n(n+1)(2n+1)}{6} \end{aligned}
1.5.2 有结点秩
1.5.1.1 基本概念
结长$\tau$ 一个数的重复个数
结数$g$ 有重复的数的个数
我们对于一段相同的数，这么处理他们的秩，先以$R_j$记假设不相同条件下的秩，且这组数据的第一个选手的秩为$r+1$。
$\alpha(R_j)=\frac{1}{\tau}[(r+1)+(r+2)+...+(r+\tau)]=r+\frac{\tau+1}{2}$
1.5.1.2 性质
相同一段长度的数据，如果全部相同或者如果全部不相同，他们的秩和不变，但是秩平方和不同。
$B_1= (r+1)^2+...+(r+\tau)^2 = \tau r^2+r\tau(\tau + 1)+\frac{\tau(\tau+1)(2\tau+1)}{6} \\ B_2=(r+\frac{\tau+1}{2})^2\times \tau =\tau r^2+r\tau(\tau + 1)+\frac{\tau(\tau+1)^2}{4}$
差值为$\frac{\tau^3-\tau}{12}$，这是一个非常经典的数值，后面一直会见到
一般来说，
秩和与平方秩和满足如下：
\begin{aligned} \sum_{i=1}^n \alpha(R_i) &= \frac{n(n+1)}{2} \\ \sum_{i=1}^n \alpha(R_i)^2 &= \frac{n(n+1)(2n+1)}{6} - \sum_{j=1}^g \frac{\tau_j^3 - \tau_j}{12} \end{aligned}
还有两个重要性质

性质1
性质2

1.6 U统计量
非参数统计中得U统计量与参数统计中的充分完备统计量有着相似的地位，后者是用来找UMVUE的。
1.6.1 单样本
参数$\theta$的核有如下定义

$Eh(X_1,X_2,...,X_k)=\theta,\quad \forall \theta \in \Theta$

当这样的kernel存在，且$k$是使得成立的最小样本量，参数$\theta$就是$k$阶可估参数。
对称核的构造

$h^*(X_1,X_2,...,X_k)=\frac{1}{k!}\sum\limits_{(i_1,i_2,...,i_k)}h(X_{i_1},X_{i_2},...,X_{i_k})$

U统计量的构造
简单来说，就是把一个样本量大小为$n$的样本，组合出所有的大小为$k$的样本做$\left( _k^n \right )$个对称核，取平均。

$U(X_1,X_2,...,X_n)=\frac{1}{\left( _k^n \right )}\sum\limits_{(i_1,i_2,...,i_k)}h^*(X_{i_1},X_{i_2},...,X_{i_k})$

小练习：

证明全体一阶矩存在的分布族，对于其1阶可估参数$\theta=E(X)$，对称核$h(X_1)=X_1$，其生成的U统计量为样本均值。
证明全体二阶矩有限的分布族，对于其2阶可估参数$\theta=E(X-EX)^2$，非对称核$h(X_1,X_2)=X_1^2-X_1X_2$生成的U统计量就是样本方差。

U统计量的性质

期望 $E(U(X_1,X_2,...,X_n))=\theta$
方差 $var(U(X_1,X_2,...,X_n))=\frac{1}{(_k^n)} \sum_{c=1}^k(_c^k)(_{k-c}^{n-k})\sigma_c^2$
大样本量下，U统计量均方收敛到$\sigma_1^2$，从而U统计量是$\theta$的相合估计

备注，上面的$\sigma_c^2$指的是：
如果一组$\{i_1,i_2,...,i_k\}$和另外一组$\{j_1,j_2,...,j_k\}$有$c$个元素是一样的，那么
\begin{aligned} \sigma_c^2 &=cov[h(X_{i_1},X_{i_2},...,X_{i_k}),h(X_{j_1},X_{j_2},...,X_{j_k})] \\ &=E(h_c(X_1,X_2,...,X_c)-\theta)^2 \end{aligned}
这里$h_c(X_1,X_2,...,X_c)=E(x_1,x_2,...,x_c,X_{c+1},...,X_k)$
Hoeffding定理
Wilcoxon检验统计量的核
1.6.2 两样本
问题列表

为什么好的检验要有大的势
为什么在显著性水平固定的情况下，样本量越大，势越大
固定势，令备择假设逼近原假设怎么理解
概率应该写成P()还是P{}
U统计量方差计算部分
U统计量的相合估计
本章节所有的计算部分都很重要
一致最优势检验
N-P引理的拓展


展开全文  统计学
• 研究论文
• 很好的非参数统计书，内容很新，书较薄，但是很全。
• 非参数统计 吴喜之 在超星上的书，我小小搞了一下，嘿嘿
• 此为吴喜之费参数统计第三版课后作业与例题的数据包，
• 1.为什么需要非参数统计？ 很多实际问题事先并不知道符合什么分布也没有什么大样本数据，那么我们应该如何获得信息呢？就是通过非参数统计，进行推断，然后得到信息。 2.非参数统计的概念与参数统计的对比分析 添加...
• 本文主要介绍一些在非参数统计中常用到的一些概念。
• 利用非参数统计方法,对5Cr-0.5Mo耐热钢寿命预测中的主曲线进行分析,提出新的主曲线形式(双指数形式),给出5Cr-0.5Mo耐热钢主曲线表达式。与传统的多项式主曲线以及近来提出的主曲线相比,双指数形式主曲线有很好的统计...
• 非参数估计》王星编著第二版，清华大学出版。是学习非参数检验非常好的教材。
• 非参数统计是数理统计学中一个体系博大、理论精深且富有实用价值的分支，《非参数统计》对非参数统计的理论和方法进行了系统的论述，内容上有一定的广度和深度，经典全面，反映了本学科的现代面貌，语言表达具有简洁...
• 非参数统计是应用统计学的重要分支之一。非参数统计区别于传统的参数统计的基本 特点是：非参数统计分析模型通常对模型和数据的假定更为宽松 。一般而言，非参数统计是对数据分布的具体形式不做细致假定，尽量从数据... 领域模型 数据结构 F# 算法 C
• 本文主要介绍利用非参数统计方法进行单一样本推断，包括符号检验、Wilcoxon检验及其衍生。未完待续  ...