精华内容
下载资源
问答
  • 总体率:又称为总体比例,指总体中具有某一相同特征表现的单位数量的比重,一般用π表示。 常见的总体率:点击率、展示率、响应率等。 计算出的样本量,不一定全部有效,在试验时,需初步确定有效样本比例。用

    抽样

    抽样方法:概率抽样和非概率抽样

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    样本量估计

    在这里插入图片描述

    • 样本量:取样时选出的样本量,能代表整体的最小样本量

    • 有效样本量:有效响应的样本量

    总体概率公式

    • 总体率:又称为总体比例,指总体中具有某一相同特征表现的单位数量的比重,一般用π表示。
    • 常见的总体率:点击率、展示率、响应率等。
      在这里插入图片描述
      在这里插入图片描述
      计算出的样本量,不一定全部有效,在试验时,需初步确定有效样本比例。用计算出的样本量/有效样本比例得到最终样本量。

    在这里插入图片描述
    在这里插入图片描述

    样本量公式汇总

    样本量估计—z检验,适用于正态总体或大样本(n>30)
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    均值差异显著性检验

    • 正态分布下均值差异显著性检验
    • 非正态分布下均值差异显著性检验

    均值差异是否显著的主要决定因素

    • 均值差异是否显著主要受均值之差和标准差的影响
    • 均值差异的衡量指标统计量,在正态分布的假设检验中最终转化为均值之差/标准差这一比值的形式;在非正态分布的假设检验中最终转化为取值的排序差异

    组间数据产生数据差异的原因

    • 差异完全由抽样误差导致
    • 存在抽样误差之外的因素导致的差异

    样本观测值:试验中样本所有个体的取值。在广告展示率的案例中,广告展示只有两个值,要么展示要么不展示,即要么取1要么取0;样本观测值就是由样本个体取值组成的一个数组(向量)

    在这里插入图片描述

    单样本总体比例的检验

    检验统计量:当n很大(>30),且np和n(1-p)两者均>=5时,样本比率的抽样分布近似服从于正态分布,因此,我们可用z统计量作为检验统计量。
    在这里插入图片描述
    其中,π0为假设的总体比例。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    两总体比例之差的显著性检验

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 2.2 个体/总体和样本 这里举一个例子,用来把各个概念串到一起。现在需要了解北京市民对建设北京交通设施是应该以公共交通工具为主,还是小汽车为主的观点收集。例子中单个北京市民称为调查的对象,而他们的观点称为...

    《统计学:从数据到结论》

    第二章 数据的收集

    2.1 数据是怎样得到的

    我们用于分析的数据主要分为两大类:观测数据试验数据
    观测数据:在自然的未被控制的条件下观测到的数据,比如犯罪率,就业率,房价,物价指数等。
    试验数据:在人工干预控制下收集的数据。

    2.2 个体/总体和样本

    这里举一个例子,用来把各个概念串到一起。现在需要了解北京市民对建设北京交通设施是应该以公共交通工具为主,还是小汽车为主的观点收集。例子中单个北京市民称为调查的对象,而他们的观点称为调查的个体,所有市民对这一问题的观点为一个总体,调查时问到的那部分市民观点称谓该总体的一个样本,是总体中的一部分。当然也有可能调查所有人,那叫做普查
    在抽样过程中,如果总体中每一个体都有同等机会被选到样本里,这种抽样称为简单随机抽样,而这样得到的样本称为随机样本
    下面就要提到真伪随机数了,要想在大小为N的总体中产生样本量为n的随机样本常用办法就是利用随机数,其不走为:①先把所有总体的个体编号;②产生n个0到N的随机数;③与如此产生的随机数中编号相同的个体行程样本量为n的简单随机样本。在实际工作中为了方便快捷,我们有时候也会使用计算机生成的伪随机数
    实践当中,得到随机样本并不容易。很多调查只能使用简单的方法。还以调查北京交通问题为例,可以选择电话号码进行随机调查,但这并不是随机样本,有人没有电话,有人有多个电话,每个电话被接听的概率不一样。这一类样本称为方便样本

    真伪随机数

    下面对真伪随机数做一些比较和自我理解:
    真正的随机数是使用物理现象产生的:比如掷钱币、骰子、转轮、使用电子元件的噪音、核裂变等等,这样的随机数发生器叫做物理性随机数发生器,它们的缺点是技术要求比较高。
    而计算机中的随机函数是按照一定算法模拟产生的,其结果是确定的,是可见的。我们可以这样认为这个可预见的结果其出现的概率是100%。所以用计算机随机函数所产生的“随机数”并不随机,是伪随机数
    随机数是无规律的,不循环的,不可复现的,这三个特点是与伪随机数最大的差别。而因为现实中的编号往往符合某种规律,所以若此规律与伪随机数的规律部分重合或者相关,就会失去样本选择的随机性。这也是为什么真随机数难以产生,还依然在被部分应用的原因。

    写在最后

    这一系列相当于是《统计学:从数据到结论》的总结和读后感,有一些自己的理解和想法,想仔细研究的同学建议读原版教材。

    展开全文
  • 召回率和精准率

    千次阅读 2019-05-29 16:42:37
    毕设做的是地物高光谱遥感图像分类,单一考虑分类器的准确度有时候是不行的,比如在博茨瓦纳数据集中,第一类的样本数占据总样本数的大部分,即出现样本倾斜,分类器的总体分类精度容易受到这种大样本数目类别的影响...

    毕设做的是地物高光谱遥感图像分类,单一考虑分类器的准确度有时候是不行的,比如在博茨瓦纳数据集中,第一类的样本数占据总样本数的大部分,即出现样本倾斜,分类器的总体分类精度容易受到这种大样本数目类别的影响,即使傻瓜式的全部预测为第一类也是有90%以上的精确度。那就引入基于混淆矩阵的平均分类精度、召回率、准确率。

    其中用到召回率 ,其实就是每类的分类准确度,召回率的分母考虑的是原始每类的样本数目。平均分类精度就是召回率的均值。

    准确率就是预测的样本数目中预测对的所占的比例,分母考虑的是预测结果。

    下面给出两者的计算公式。

    有时候我们会重视准确率:

    比如在预测股票的时候,如果我们关注的是股票价格上升,我们当然是希望我们预测对的次数占预测总次数的比例越高越好,如果原本很多样本是升我们预测为降,即召回率低,这种情况只是失去赚钱的机会,没有损失钱。

    有时候我们会重视召回率:

    比如在预测病人得病时,有病是我们关注的,召回率意味着我们把更多的人分类到有病,这其中会增加许多错分,即把无病的错分到有病,那么“患者”会作进一步检查确诊是否真的有病,很多人能够确诊无病;而如果把更多的人分类到无病,也会有很多错分,即一些真的有病的分到无病,这个损失是大的。

    其上两种需要横纵两方面考虑。

    在评价我们得到的模型的时候当然是希望召回率和准确率都越高越好,不过二者之间有时候会存在tradeoff,举个例子:

    一个盒子里面有10瓶奶,其中4瓶纯奶,6瓶酸奶,我喜欢喝纯奶,所以纯奶是我的目标。

    • 一次拿5瓶奶(别管拿不拿得住)有3瓶纯奶,召回率=3/4 ;精确率=3/5
    • (极端)一次拿1瓶奶,有1瓶纯奶,召回率=1/4 ;精确率=1/1
    • (极端)一次拿10瓶奶(别管拿不拿得住)有4瓶纯奶,召回率=4/4 ;精确率=4/10

    出现tradeoff那就看能不能平衡,引入F1 score

    调和平均值的特点:如果二者极度不平衡,最终F1也特别低,只有二者都非常高结果才会高

     

    展开全文
  • 总体中抽取一个样本(batchsize=n),得到样本均值u’,样本标准差σ‘,(推荐系统中)样本点击ctr等,这些样本参数都是对总体的一个点估计。 标注误差SE 抽取n个样本,分别计算其均值u’1,u’2,… 这些值的...

    1. 摘要

    本文主要讨论了推荐系统中小样本的问题,首先提出推荐系统中可能遇到小样本的问题,然后介绍了必要的数据知识——点估计和区间估计,之后结合具体案例解答“多少样本量算是小样本“和“小样本该如何处理”这两个问题。


    2. 应用场景

    推荐系统中,构建离线召回列表或利用模型进行pCTR或pCVR打分,就是利用最近一段时期的历史行为预估最近一段时期的未来行为,这里有两个基本假设:
    1,历史行为和未来行为具有相同或相近的数据分布;
    2,一段时期的历史行为数据可以反映真实的数据分布;
    对于假设1,在场景和用户相对稳定的情况下基本成立,不过实际推荐系统中,很多badcase就是因为这个假设不成立,比如某直播平台人气女主播解说篮球吸引了大量用户,推荐系统以为这些用户喜欢篮球,下一时段推荐系统给这些用户推荐其他篮球类节目,发现效果并不好,因为很多是冲着女主播去的。再如某电商平台的“秒杀”场景,上一时段火爆的商品,下一时段已经下架了。关于假设1,这里不展开说,我们的重点是假设2。
    关于假设2,一段时期的历史行为数据可以看作真实数据分布的一个采样,真实的数据分布通过这个采样进行估计。我们直观的知道当样本数据量越大则统计特征越可靠,模型泛化能力越强。
    以电商商品推荐为例:单位时间内,商品A曝光1万次,点击100次,样本点击率1%;商品B曝光50次,点击1次,样本点击率2%。我们显然不能说,商品B比商品A总体点击率高,更值得被推荐。
    对于样本不足的问题,我们也叫小样本问题,后面我们将介绍:
    1,多少样本算小样本?
    2,如何处理小样本?


    3. 点估计和区间估计

    假设数据总体数量是N,总体均值u,总体标准差σ,总体点击率ctr,样本大小是n,样本均值u’,样本标准差σ’,样本点击率ctr’。

    点估计

    从总体中随机抽取一个样本(batchsize=n),得到样本均值u’,样本标准差σ’,样本点击率ctr’,这些样本参数都是对总体的一个点估计。样本点击率ctr’是对总体点击率ctr的点估计。
    衡量点估计的标准有:无偏性,有效性,相合性。

    • 无偏性:样本容量n确定的情况下,参数估计值的数学期望等于被估计的参数值。足够多次采样,应该有:E(u’)=u,E(σ’)=σ,E(ctr’)=ctr。
    • 有效性:当一个参数有多个无偏估计时,估计方差越小则越有效。
    • 相合性:样本容量n趋于无穷大时,估计量的期望等于估计参数,估计量的方差为0。

    区间估计

    以相同的抽样方式,获得K组抽样样本,样本大小是n,每组样本按某一置信度,比如说95%,计算出置信区间,那么将会有0.95*K组所计算出来的置信区间中包含有总体待估计参数值。
    对于标准正态分布,0.95置信度的区间半径是1.96σn\frac{1.96*\sigma}{\sqrt{n}},其中σn\frac{\sigma}{\sqrt{n}}是标准误差(SE),公式看出,样本足够大时,区间半径就变得很小。
    形象地说,区间估计就像在池塘撒网捕鱼,网的半径就是区间,半径大小由置信度、样本大小、样本方差共同决定。样本大小和方差一定时,0.99的置信区间比0.95要大,对于0.95置信区间,一百次网下去,可能会有95次网到我想要的鱼,但是我们并不知道是不是现在这一网捕到的这条。


    4. 大样本和小样本

    在推荐场景下,点击-曝光构成的样本数据理论上符合0-1分布。0-1分布是一种特殊的二项分布(n=1),回顾一下0-1分布特性:事件发生概率为p,不发生概率为1-p,期望均值p,方差p(1-p).根据中心极限定理,实验足够多次,样本数据量足够大时,二项分布按概率逼近正态分布
    这里的“足够多”到底是多少呢?其实就是需要多少数据,在误差允许的范围内,可以使得样本以一定程度逼近正态分布。这个“误差”就是样本方差(或标准差),“一定程度”就是置信度。

    t检验

    假设检验是用来判断样本与样本、样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。如果能通过假设检验方式,验证样本和总体差异不大,那么就可以说样本量足够多了。
    针对小样本问题,也可以用t检验来处理,t检验用于检测样本平均数与总体平均数差距是否显著。t检验适应于:
    1,已知总体均值,未知总体标准差;
    2,已知样本均值,标准差;
    3,总体满足或近似正态分布。
    t检验公式:
    t=xˉμ0σn1t=\frac{\bar{x}-\mu_0}{\frac{\sigma}{\sqrt{n-1}}}
    一般当n>30时,也可以用公式:
    t=xˉμ0σnt=\frac{\bar{x}-\mu_0}{\frac{\sigma}{\sqrt{n}}}
    举例:难产儿出生数n = 35,体重均值xˉ\bar{x} = 3.42,σ{\sigma} = 0.40,一般婴儿出生体重 μ0\mu_0= 3.30(大规模调查获得),问相同否?
    1,建立假设:H0H_0: μ=μ0\mu=\mu_0(零假设); H1H_1: μμ0\mu\neq\mu_0(备择假设),双侧检验检验水准:α=0.05
    2,计算检验统计量:
    t=xˉμ0σn=3.423.30.435=1.77t=\frac{\bar{x}-\mu_0}{\frac{\sigma}{\sqrt{n}}}=\frac{3.42-3.3}{\frac{0.4}{\sqrt{35}}}=1.77
    υ=n1=34\upsilon=n-1=34(其中υ\upsilon是自由度)
    3,查t界值表,确定P值:
    tα/υ=t0.025/34=2.032>t=1.77t_{\alpha}/{\upsilon}=t_{{0.025}/{34}}=2.032>t=1.77
    因此,p>0.05,按α=0.05水准,不拒绝H0{H_0}.

    t界值表


    最小样本量

    上面的t检验的例子中,我们已知样本量,检验样本是否跟总体一致。那么,我们也可以假设样本跟总体一致,来反推临界样本量值。至于总体分布,如前所述,根据中心极限定理,0-1分布在样本足够多时服从正态分布,设总体XX服从N(μ,σ2)N(\mu,\sigma^2),那么统计量u=Xˉμσ/nu=\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}服从标准正态分布N(0,1)N(0,1).
    t分布公式可以改写为:
    n=t2σ2(xˉμ0)2=t2σ2err2n=\frac{{t^2}{\sigma^2}}{(\bar{x}-\mu_0)^2}=\frac{{t^2}{\sigma^2}}{err^2}
    其中,σ\sigma是样本标准差,err是误差。
    试看下面的例子:
    举例:某电商app中某个广告位最近1小时的行为数据120条,其中点击行为18条,样本点击率15%,请问该点击率是否能反映真实点击率?
    1,假设置信度95%,边际误差3%(也就是点击率置信区间[12%,18%][12\%,18\%]),查t分布表,当样本趋于无穷大时,t=1.96,也就是标准正态分布N(0,1)N(0,1)分布的95%置信区间对应的x值。
    2,带入最小样本公式:
    n=t2σ2err2=1.9620.15(10.15)0.032544n=\frac{{t^2}{\sigma^2}}{err^2}=\frac{{1.96^2}*{0.15*(1-0.15)}}{0.03^2}\approx544
    也就是至少需要544个样本,统计的点击率15%才比较可信,显然120个样本是不够的。

    小样本的处理——威尔逊区间估计

    大样本时可以简单地用点估计来估计总体参数,比如上面电商的例子,如果样本量大于544个,我们就可以说该广告位的点击率15%是可靠的。但是,实际场景中,往往会遇到小样本问题。小样本的点估计不可信,区间估计又不能简单作为正态分布区间估计处理。

    针对小样本问题,业界常用的是威尔逊置信区间:
    p+z22n1+z22n±z1+z22np(1p)n+z24n2\frac{\overline p +\frac{z^2}{2n}}{1+\frac{z^2}{2n}} \pm \frac{z}{1+\frac{z^2}{2n}} \sqrt{ \frac{\overline p(1- \overline p)}{n} + \frac{z^2}{4n^2}}
    其中,p\overline p表示的是样本统计概率,n表示发生的总次数,z表示置信参数,置信度95%时等于1.96。以上面电商app点击率为例,其威尔逊置信区间为:[0.1634-0.0648, 0.1634+0.0648]. 实际我们一般按照下限进行估计,即0.0986,起到一定的打压作用。
    参考知乎排序规则


    展开全文
  • 样本率的计算很容易,那如何计算估算总体率的95%CI呢?对于此类二项分布的数据,如果“数据量足够大”,一般可以使用正态近似法估算总体率的可信区间。那如何才是“数据量足够大”呢?这个没有统一的标准。有学者...
  • 在Kassala中,PPR抗体的总体总体患病为58.2%,而实际患病为61.3%。 绵羊山羊的表观患病分别为68.1%43.5%。 单因素分析表明,危险因素与cELISA阳性状态有显着相关性:位置,物种,年龄,品种,饲养...
  • 探索性横断面设计包括便利性样本和使用包括基于灵性的项目在内的第十二项总体健康调查表的自我管理调查表,用于收集本研究的数据。 总共1269份研究问卷完成了。 学生的回答表明,各种心身症状会导致问题,从而导致...
  • 考虑到文献中关于波动可能长记忆性非线性并存的观点,本文以具有长记忆特征的HAR(heterogeneous autoregressive)模型为基础,加入波动测量误差后模型持续性有所提高,结合非线性的时变参数模型则达到结构...
  • 背景:糖尿病的成本经济负担是一个严重的世界性问题。 在这项研究中,我们评估了诊断为糖尿病的人的医疗费用,以及导致糖尿病的人减少其患病的因素。... 但是,可以通过预防超重肥胖等努力来降低总体患病
  • 从调查结果中可以明显看出,尽管有少数受访者表示对总体设计工作场所的装饰以及房间温度空气质量的满意度不满意​​,但从PFC员工的角度解释工作人体工程学的所有指标均令人满意。 已经确定,所有工作人体工程...
  • 使用不同正样本量时,PUL的提取结果总体精度kappa系数均优于OCSVM MAXENT,最高总体精度为91.27%,最高kappa系数可达0.8255,可快速、有效地从高分辨遥感影像中提取不透...
  • 论文研究 - 患病

    2020-05-18 03:39:30
    总体患病为464(29.7%)。 幽门螺杆菌感染的社区间流行性存在显着差异(p <0.05); 在年龄在5至14岁之间的儿童中,年龄,教育程度,习惯或行为的分布有所不同,其中最高比例为274(17.6%),其次是成年人...
  • 结果:数据表明,在此高风险样本中,所有16名儿童均存在精神病理学。 疾病分布显示合并症患病为93.8%。 与丹麦规范人群相比,所有16名儿童在心理社会功能方面均存在困难。 最深刻的是情绪症状,多动注意力不...
  • 实验结果表明,该模型在Indian PinesPavia University数据集上分别取得了99.07%99.96%的总体分类精度,与支持向量机现有的深度学习方法相比,所提模型有效地提高了针对小样本高光谱图像的分类性能。
  • 宫颈人乳头瘤病毒感染的流行率和类型分布因环境而异。 了解这一点将有助于某些宫颈癌干预措施,例如疫苗管理。 这项研究的目的是确定在尼日利亚奥卡(Awka)一家三级医院就诊的妇女中宫颈HPV感染的患病率。 为了评估...
  • 针对BP神经网络算法对煤体瓦斯渗透预测精度低问题,筛选出影响预测精度的5个主要因素——1个宏观因素(煤层埋深)4个微观因素(有效应力、温度、瓦斯压力、抗压强度),提出一种基于学习向量量化神经网络(LVQ)分类、...
  • 背景:人类疱疹病毒6型(HHV-6)... 结果:在显然健康的婴儿中,总体抗HHV6 IgG阳性为43.9%。 与其他年龄组相比,阳性最高的是年龄在19-24个月的年龄组,男性的阳性显着高于女性(44.0%对43.8%,P = 0.973)。
  • 总体均值差的假设检验的统计量样本来自正态总体 ,样本来自正态总体检验假设: (一) 如果两个总体方差 已知 构造检验统计量: 当 时, z 服从 。因此,采用 z 检验。当 成立时, 则检验拒绝域为: 【例 】 某人...
  • 因此,本研究旨在研究使尼日利亚西南部十所选定的大专院校的大学生面临感染艾滋病毒/艾滋病的风险的具体因素,并确定这些校园中的艾滋病毒流行率和阳性人群的病毒载量。 在为期42个月的时间里,有1000名大学生参加...
  • 随着资本市场的蓬勃发展,证券投资者证券公司的数量规模Swift增长。 在此基础上,本文重点研究了国内15家大型上市证券公司。 通过Hicks-Moorsteen ... 3)在样本期内,上市证券公司的技术效率规模效率波动不大。
  • 总体功耗情况任务管理器里面显示的cuda占用情况差不多,驱动cuda都是最新版本的,tf为1.15版本,我设置batch size为32,训练样本大概为6500个,一共分两类。请问这是什么问题&#...
  • 结果:HSV的总体患病为76.7%。 数据进一步表明,研究的大多数人口(96.4%)患有HSV-1,而77%患有HSV-2感染。 结果还显示,年轻人显示HSV-1的患病为95.7%,HSV-2的患病为74.7%,而中年人的HSV-1的患病...
  • 推断统计是研究如何利用样本数据来推断总体特征的统计方法。 1.3 统计数据可分为哪几种类型?不同类型的数据各有什么特点? 1、按照所采用的计量尺度的不同,可以将统计数据分为分类数据、顺序数据数值型数据。 ...
  • “如果两个不同总体样本,对应总体1中的比例为 ,总体2中的比例为 ,对于总体比例之差的检验可以分为检验两个总体比例是否相等检验总体比例之差是否为一常数(不为0)两种情况。例如,需要检验两地区手机的普及...
  • 贝叶斯公式 P( ) 其中, 是先验概率; p 是 与 的联合概率密度;...贝叶斯决策:在类条件概率密度先验概率已知(或可以估计)的情况下,通过贝叶斯公式比较样本属于类别的后验概率,将类别决策为后验概率大的一类...
  • 对训练样本进行分数阶Fourier变换,取其变换的幅值信息作为脸部表情特征,与LBP融合进行分类判别,同时采用总体识别率和笑脸识别率统计结果,在RML表情数据库进行仿真验证。实验结果表明,该方法在笑脸识别中相比其他方法...
  • 申明:仅学习过程笔记记录,多处引用周志华老师书本内容 错误:把分类错误的样本总体样本总数的比率 精度(accuracy)= 1 -错误 误差:把学习器的实际预测输出与样本的真实输出的差异叫做误差;
  • 然后以MATLAB R2009b为实验平台,分别利用类间散布矩阵和总体散布矩阵作为K-L变换的的产生矩阵,对ORL人脸库的400幅图片进行K-L变换,一部分作为训练样本,一部分作为待识别样本,训练样本以产生特征脸空间;...
  • 样本中布鲁氏菌弓形虫的混合感染总体患病为3.8%,其中有2只先前流产的动物呈阳性。 从研究中获得的信息将增加已经存在的信息,以试图建立一个抑制牲畜繁殖失败的支点,从而提高生产力。
  • 贝叶斯法则:当分析样本大到接近总体数时,样本中事件发生的概率将接近于总体中事件发生的概率。 1. 最大后验概率决策(最小错误决策Minimum-error-rate Bayes classification) 先验概率: 类条件概率: ...

空空如也

空空如也

1 2 3 4 5 ... 8
收藏数 158
精华内容 63
关键字:

总体率和样本率