一、方差分析基本原理

1、方差分析（analysis of variance）:k（k>=3）个样本平均数假设测验方法。

  





与j无关的变量都看成常数，此时summation代表的是次数





    方差分析基本步骤：

  （1）将资料总变异的自由度和平方和分解为各变异原因的自由度和平方和，并算的其均方

  （2）计算均方比，做出F测验，以明了各变异因素的重要程度

  （3）对各平均数进行多重比较

2、F分布与F测验（比较两个事物变异大小）

在一个平均数为、方差为的正态总体中，随机抽取两个独立样本，分别求得其均方和，将其比值定义为F：

                                                                / 

在给定的v1,v2下按上述方法从正态总体中进行一系列抽样，可得一系列的F值而作成一个F分布。

统计研究证明:

（1）F分布是具有平均数为1 ，取值空间为[0,]一组曲线

（2）某一特定曲线的形状仅取决于参数v1和v2，v1=1或2时，曲线是严重倾斜成反向J曲线，v1>=3时，曲线转为偏态。

                                        

在方差体系中，F测验可用于检测某项变异因素的效用或方差是否真实存在。在计算F分布时，总是将要测验的那一项变异因素的均方作为分子，另一项变异（如试验误差项）的均方作为分母。这个问题与方差分析的模型和各项变异来源的期望均方有关。在此测验中，若分子的均方小于分母的均方，则F<1，不用查表即可确定P>0.05,接受无效假设，所以分子必须是大均方。

F测验需具备：

（1）变数y遵循正态分布N（，）

（2）和必须彼此独立

当资料不符合这些条件时，需做适当转换。

对一组处理的重复试验数据经对总平方和与总自由度的分解估计出   处理间均方与处理内均方（误差均方），通过F=MSt/MSe测验处理间所表示出的差异是否真实（比误差大），这一方法为方差分析法。所用统计假设H0：或HA：间存在差异（不一定三者都不等，可能部分不等）。

 

二、多重比较

对一组试验数据通过平方和与自由度的分解，将所估计的处理均方与误差均方作比较，由F测验推论处理间有显著差异，对有些试验方差分析已算告一段落，但对有些试验其目的不仅在于了解一组处理间总体上有无实质性差异，更在于了解哪些处理间存在真实差异，需进一步做处理平均数间的比较。一个试验中K个处理可能有K(K-1)/2个比较，这种比较是复式比较亦称多重比较（multiple comparisions）。

通过方差分析后进行平均数间的多重比较，不同于处理间两两单独比较。原因：

（1）误差由多个处理内的变异合并估计，自由度增大了，因而比较的精确度也增大了

（2）由于F测验显著，证实处理间总体上有真实差异后再做两两平均数的比较，不大会像单独比较时那样将个别偶然性的差异无误判为真实差异。在F测验基础上再做的平均数间多重比较称为Fisher氏保护下的多重比较（Fisher's protected multiple comparisons）。 在无F测验保护时，处理间两两比较，每一比较的显著水平=0.05，若处理间总体上无差异，每一比较误判为有差异的概率为0.05，则6个比较中至少有一个被误判的概率为'=1-=0.2649;若处理数k=10，则 '=1-=0.9006，因而尽管单个比较的显著水平为0.05，但从试验总体上 ' （至少有一个误判的概率）是很大的，说明通过F测验做保护是非常必要的。                                                                                                                                                         

多重比较的方法：最小显著差数法，复极差法(q法)，Duncan氏新复极极差法。

方法一： 最小显著差数法（least significant difference，LSD法），实质是t测验（成组）。

程序：在处理间的F测验为显著的前提下，计算出显著水平为  的最小显著差数；任何两个平均数的差数（）,其绝对值  ，即为在水平上差异显著；反之在水平上不显著。该法又称在F测验保护下的最小显著差数法。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                

方法二： q法（极差）

LSD法的t测验是根据两个样本平均数差数（k=2）的抽样分布提出的，但是一组处理（k>2）是同时抽取k个样本的结果。抽样理论指出k=2时与k>2，例如k=10时其随机极差是不同的，随着k的增大而增大，k=2时的t测验有可能夸大了k=10时最大与最小两个样本平均数差数的显著性。基于极差的抽样分布理论，Student-Newman-Keul提出了q测验或称负极差测验（SNK/NK测验）。

q测验方法是一组k个平均数由大到小排列后，根据所比较的两个处理平均数的差数是几个平均数间的极差分别确定最小显著极差的值。

q测验根据极差抽样分布原理，其各个 比较都保证同一个显著水平，其尺度值构成为：

                          =SE      SE=sqrt(MSe/n)   

式中2pk,p是所有比较的平均数按大到小顺序排列所计算出的两极差范围内所包含的平均数个数（称为秩次距），SE是平均数的标准误。每一显著水平下有k-1个尺度值。平均数比较时，尺度值随秩次距的不同而异。 

方法三： 新复极差法

不同秩次距P下的最小显著极差变幅比较大，因此，D.B.Duncan提出新复极差法，又称最短显著极差法（shortest significant ranges,SSR）。与q法相似，其区别在于计算最小显著极差时不是查q表而是查SSR表，所得最小显著极差值随k增大通常比q测验时减小。

                                               =SE*

在不同秩次距p下，平均数间比较的显著水平按两两比较是   ，但按p个秩次距则为保护水平'=1-(1-)^(p-1)     

二、多重比较结果的表示方法

（1）列梯形表法

（2）划线法 

（3）标记字母法

        首先将全部平均数从大到小依次排序，然后再最大的平均数标上字母a；并将该平均数与以下各平均数相比，凡相差不显著的都标上字母a,直至某一个与之相差显著的平均数则标以字母b（向下过程）；再以标有该字母b的最大平均数为标准，与以下未标记的平均数比，凡不显著的继续标以字母b，直至某一个与之相差显著的平均数则标以字母c。……如此重复下去，直至最小的一个平均数有了标记且与以上平均数进行了比较为止。各个平均数间，凡有一个相同标记字母的即为差异不显著，没有相同标记的即为差异显著。

三、多重比较方法的选择

参考原则：

（1）试验事先确定比较的标准，凡与对照相比较，或与预定要比较，或与预定要比较的对象比较，一般可选用最小显著差数法

（2）根据否定一个正确的H0与接受一个不正确的H0的相对重要性来决定。   

四、方差分析的线性模型与期望均方              

方差分析是建立在一定线性可加模型基础上。线性可加模型是指总体每一个变量可以按其变异的原因分解成若干个线性组成部分，是方差分析的理论依据。

五、单项分组资料的方差分析

单项分组资料是指观察值仅按一个方向分组的资料。

（1）组内观察值数目相等

（2）组内观察值数目不等

（3）组内又分亚组的单向分组资料的方差分析，

每组又分若干个亚组，每个亚组内又有若干个观察值，则为组内分亚组的单项分组资料，或称系统分组资料。系统分组并仅限于组内分亚组，亚组内还可分小组，小组内还可分亚组，……，如此一环套一环地分下去---巢式试验。       

                                           

容斥原理与多重集合


分类： 组合博弈2013-08-12
 14:56 299人阅读 评论(0) 收藏 举报


首先介绍一个重要定理：

设S是有k种类型对象的多重集合，每种元素均具有无限的重复数。那么S的r组合的个数等于：

 

 

问题一：多重集合的组合问题

 

问题描述：给定3个a，4个b，5个c，现在要选10个元素，求一共有多少种组合？

 

分析：本问题就是相当于求S={3·a,4·b,5·c}的10组合数。

首先，多重集合的组合有一个定理，定理描述如下：

设S是有k种类型对象的多重集合，每种元素均具有无限的重复数，那么S的r组合的个数等于：

 

那么既然这样，我们令S∞={∞·a, ∞·b,∞·c}，那么S的10-组合数为

设集合A是S∞的10-组合全体，则|A|＝66，现在要求在10-组合中的a的个数小于等于3，b的个数小于等于4，c的个数小于等

于5的组合数.

 

定义性质集合P={P1,P2,P3},其中： 

P1：10组合中a的个数大于等于4；

P2：10组合中b的个数大于等于5；

P3：10组合中c的个数大于等于6；



将满足性质Pi的10-组合全体记为Ai(1≤i≤3).

那么，A1中的元素可以看作是由S∞的10－4＝6组合再拼上4个a构成的，所以

同理有：，，



 

所以根据容斥原理，原问题的解为：




 

问题二：方程解的个数问题

(1)问题描述：已知非负整数不大于7，求方程整数解的个数。

 

分析：其实用容斥，跟上题一样，先求出总数，因为不可能出现两个或两个以上的数大于等于8，所以这里就简单很多了。

首先，S的10-组合数为：，由于只会出现中的一个大于等于8的情况，所以四种情况一样的，

其结果都是，所以问题的解就是286-4*10=246

 

(2)问题描述：求方程整数解的个数，其中

 

分析：对于这个问题需要先转化一下就跟上题一样了。

令：，然后就有，此类问题不再赘述。答案为21


 

 

问题三：集合划分问题

问题描述：将一个n元集合划分为r个非空子集，并给每个子集标上号1，2，3，...r，求划分方案数。

 

分析：设S为将n元集划分成有序r部分的全部划分方案集，注意这里每一部分可以为空，那么我们用总数减去为空的情况就可

以了，那么进一步有一个不为空，两个不为空，三个不为空，...等等。这样我们就可以容斥。

 

我们知道 ，， 

 

所以最后得到方案数为：

本文节选这篇博客:http://blog.csdn.net/tinyguyyy/article/details/51203935 

这篇文章的内容RT 

个人认为01背包和完全背包背包九讲讲的很具体了，多重背包关于二进制思想的我的没有接触过，有点不求甚解，所以找了一篇文章参考~自己节选了大大的文章，把c++部分改成了c语言，方便新手理解和自己的学习~

多重背包：有n种物品与承重为m的背包。每种物品有有限件num[i]，每个物品都有对应的重量weight[i]与价值value[i]，求解如何装包使得价值最大。

首先这种可以把物品拆开，把相同的num[i]件物品 看成 价值跟重量相同的num[i]件不同的物品，那么！！是不是就转化成了一个规模稍微大一点的01背包了。



    #include<cdtdio>  
    using namespace std;  
    int dp[1005];  
    int weight[1005],value[1005],num[1005];  
    int main()  
    {  
        int n,m;  
        scanf("%d%d",&n,&m);//n是物品的种数，m是背包的容积  
        memset(dp,0,sizeof(dp));  
        for(int i=1; i<=n; i++)  

            scanf("%d%d%d",&weight[i],%value[i],&num[i]);

        for(int i=1; i<=n; i++)//每种物品  

            for(int k=0; k<num[i]; k++)//其实就是把这类物品展开，调用num[i]次01背包代码  

                for(int j=m; j>=weight[i]; j--)//正常的01背包代码  

                    dp[j]=max(dp[j],dp[j-weight[i]]+value[i]);  

        printf("%d"，dp[m]);
        return 0;  
    }  


那只是一种理解方法，背包九讲上是这样的

dp[i][j] = max ( dp[i-1][j - k*weight[i]] +k*value[i] )     0<=k<=num[i]

用二进制优化了一下~




    #include<csdtio>  
    using namespace std;  
    const int N = 1005;  

    int dp[N];  
    int c[N],w[N],num[N];  
    int n,m;  

    void ZeroOne_Pack(int cost,int weight,int n)//吧01背包封装成函数  
    {  
        for(int i=n; i>=cost; i--)  
            dp[i] = max(dp[i],dp[i-cost] + weight);  
    }  

    void Complete_Pack(int cost,int weight,int n)//把完全背包封装成函数  
    {  
        for(int i=cost; i<=n; i++)  
            dp[i] = max(dp[i],dp[i-cost] + weight);  
    }  

    int Multi_Pack(int c[],int w[],int num[],int n,int m)//多重背包  
    {  
        memset(dp,0,sizeof(dp));  
        for(int i=1; i<=n; i++)//遍历每种物品  
        {  
            if(num[i]*c[i] > m)  
                Complete_Pack(c[i],w[i],m);  
                //如果全装进去已经超了重量，相当于这个物品就是无限的  
                //因为是取不光的。那么就用完全背包去套  
            else  
            {  
                int k = 1;  
                //取得光的话，去遍历每种取法  
                //这里用到是二进制思想，降低了复杂度  
                //为什么呢，因为他取的1,2,4,8...与余数个该物品，打包成一个大型的该物品  
                //这样足够凑出了从0-k个该物品取法  
                //把复杂度从k变成了logk  
                //如k=11，则有1,2,4,4，足够凑出0-11个该物品的取法  
                while(k < num[i])  
                {  
                    ZeroOne_Pack(k*c[i],k*w[i],m);  
                    num[i] -= k;  
                    k = k*2;//k <<= 1;二进制的思想  
                }  
                ZeroOne_Pack(num[i]*c[i],num[i]*w[i],m);  
            }  
        }  
        return dp[m];  
    }  

    int main()  
    {  
        int t;  
        scanf("%d",&t); 
        while(t--)  
        {  
            scanf("%d%d",&n,&m);//n是物品的种类，m是背包的容积  
            for(int i=1; i<=n; i++)  
                scanf("%d%d%d",&c[i],&w[i],&num[i]);
            printf("%d\n",Multi_Pack(c,w,num,n,m));
        }  
        return 0;  
    }  

原文链接：http://tecdat.cn/?p=21825

原文出处：拓端数据部落公众号



假设检验的基本原理是小概率原理，即我们认为小概率事件在一次试验中实际上不可能发生。



多重比较的问题

当同一研究问题下进行多次假设检验时，不再符合小概率原理所说的“一次试验”。如果在该研究问题下只要有检验是阳性的，就对该问题下阳性结论的话，对该问题的检验的犯一类错误的概率就会增大。如果同一问题下进行n次检验，每次的检验水准为α（每次假阳性概率为α），则n次检验至少出现一次假阳性的概率会比α大。假设每次检验独立的条件下该概率可增加至



常见的多重比较情景包括：

多组间比较
	
多个主要指标
	
临床试验中期中分析
	
亚组分析


控制多重比较谬误（Familywise error rate)：Bonferroni矫正

Bonferroni法得到的矫正P值=P×n

Bonferroni法非常简单，它的缺点在于非常保守（大概是各种方法中最保守的了），尤其当n很大时，经过Bonferroni法矫正后总的一类错误可能会远远小于既定α。

 

控制错误发现率：Benjamini & Hochberg法

简称BH法。首先将各P值从小到大排序，生成顺序数

排第k的矫正P值=P×n/k

另外要保证矫正后的各检验的P值大小顺序不发生变化。



怎么做检验

R内置了一些方法来调整一系列p值，以控制多重比较谬误（Familywise error rate)或控制错误发现率。

Holm、Hochberg、Hommel和Bonferroni方法控制了多重比较谬误（Familywise error rate)。这些方法试图限制错误发现的概率（I型错误，在没有实际效果时错误地拒绝无效假设），因此都是相对较保守的。

方法BH（Benjamini-Hochberg，与R中的FDR相同）和BY（Benjamini & Yekutieli）控制错误发现率，这些方法试图控制错误发现的期望比例。

 

请注意，这些方法只需要调整p值和要比较的p值的数量。这与Tukey或Dunnett等方法不同，Tukey和Dunnett也需要基础数据的变异性。Tukey和Dunnett被认为是多重比较谬误（Familywise error rate)方法。

 

要了解这些不同调整的保守程度，请参阅本文下面的两个图。

 

关于使用哪种p值调整度量没有明确的建议。一般来说，你应该选择一种你的研究领域熟悉的方法。此外，可能有一些逻辑允许你选择如何平衡犯I型错误和犯II型错误的概率。例如，在一项初步研究中，你可能希望保留尽可能多的显著值，来避免在未来的研究中排除潜在的显著因素。另一方面，在危及生命并且治疗费用昂贵的医学研究中，得出一种治疗方法优于另一种治疗方法的结论之前，你应该有很高的把握。



 具有25个p值的多重比较示例

### --------------------------------------------------------------
### 多重比较示例
### --------------------------------------------------------------

Data = read.table(Input,header=TRUE)

按p值排序数据

Data = Data[order(Data$Raw.p),]


检查数据是否按预期的方式排序



执行p值调整并添加到数据框

Data$Bonferroni =
      p.adjust(Data$Raw.p,
               method = "bonferroni")

Data$BH =
      p.adjust(Data$Raw.p,
               method = "BH")

Data$Holm =
      p.adjust(Data$ Raw.p,
               method = "holm")

Data$Hochberg =
      p.adjust(Data$ Raw.p,
               method = "hochberg")

Data$Hommel =
      p.adjust(Data$ Raw.p,
               method = "hommel")

Data$BY =
      p.adjust(Data$ Raw.p,
               method = "BY")

Data







绘制图表

plot(X, Y,
        xlab="原始的p值",
        ylab="矫正后的P值"
        lty=1,
        lwd=2

 

调整后的p值与原始的p值的图为一系列的25个p值。虚线表示一对一的线。



5个p值的多重比较示例

### --------------------------------------------------------------
### 多重比较示例，假设示例
### --------------------------------------------------------------
Data = read.table(Input,header=TRUE)

执行p值调整并添加到数据帧

Data$Bonferroni =
      p.adjust(Data$Raw.p,
               method = "bonferroni")

Data$BH =
      signif(p.adjust(Data$Raw.p,
               method = "BH"),
             4)

Data$Holm =
      p.adjust(Data$ Raw.p,
               method = "holm")

Data$Hochberg =
      p.adjust(Data$ Raw.p,
               method = "hochberg")

Data$Hommel =
      p.adjust(Data$ Raw.p,
               method = "hommel")

Data$BY =
      signif(p.adjust(Data$ Raw.p,
               method = "BY"),
             4)

Data


 



绘制(图表)



plot(X, Y,
        type="l",
      



调整后的p值与原始p值在0到0.1之间的一系列5个p值的绘图。请注意，Holm和Hochberg的值与Hommel相同，因此被Hommel隐藏。虚线表示一对一的线。



最受欢迎的见解

1.Matlab马尔可夫链蒙特卡罗法（MCMC）估计随机波动率（SV，Stochastic Volatility） 模型

2.基于R语言的疾病制图中自适应核密度估计的阈值选择方法

3.WinBUGS对多元随机波动率模型：贝叶斯估计与模型比较

4.R语言回归中的hosmer-lemeshow拟合优度检验

5.matlab实现MCMC的马尔可夫切换ARMA – GARCH模型估计

6.R语言区间数据回归分析

7.R语言WALD检验 VS 似然比检验

8.python用线性回归预测股票价格

9.R语言如何在生存分析与Cox回归中计算IDI，NRI指标