精华内容
下载资源
问答
  • 目录: 全连接层的计算参数量估计 激活函数的计算量估计 LSTM的计算参数量估计 卷积层的计算参数量估计 深度可分离卷积的计算参数量估计 Batch Normalization的计算参数量估计 其他层的计算...

    点击上方“机器学习与生成对抗网络”,关注"星标"

    获取有趣、好玩的前沿干货!

    作者丨DengBoCong@知乎   编辑丨极市平台  文仅分享,侵删

    来源丨https://zhuanlan.zhihu.com/p/342668070

    导读

     

    算法模型落地的一个重要考量就是在满足业务场景内存占用、计算量等需要的同时,保证算法的性能。本文总结了共七个类别的神经网络的计算量和参数量的估计方法,总的来说就是:减少参数,降低精度,融合计算单元步骤。

    Github:本文代码放在该项目中:NLP相关Paper笔记和代码复现

    (https://github.com/DengBoCong/nlp-paper)
    说明:讲解时会对相关文章资料进行思想、结构、优缺点,内容进行提炼和记录,相关引用会标明出处,引用之处如有侵权,烦请告知删除。

    目录:

    • 全连接层的计算量和参数量估计

    • 激活函数的计算量估计

    • LSTM的计算量和参数量估计

    • 卷积层的计算量和参数量估计

    • 深度可分离卷积的计算量和参数量估计

    • Batch Normalization的计算量和参数量估计

    • 其他层的计算量和参数量估计

    对于深度学习模型来说,拥有一个非常好的设计思路和体系架构非常重要,对模型性能的影响非常之大,所以对于模型的研究倾向于在模型性能上的表现。但是对于商业应用来说,算法模型落地的另一个重要考量就是在满足业务场景内存占用、计算量等需要的同时,保证算法的性能,这个研究对于移动端的模型部署更加明显,这有利于压缩应用的体积。最近这段时间正好在研究关于移动端模型部署(TensorFlow Lite用的不是很顺心呀),所以要仔细研究一下模型的参数量等,这不仅可以让我们对模型的大小进行了解,还能更好的调整结构使得模型响应的更快。

    可能有时候觉得,模型的大小需要计算嘛,直接保存大小直接看不就完事儿了?运行速度就更直接了,多运行几次取平均速度不就行了嘛?so easy?这个想法也没啥错,但是大前提是你得有个整型的模型呀(训练成本多高心里没数嘛),因此很多时候我们想要在模型设计之初就估计一下模型的大小以及可能的运行速度(通过一些指标侧面反应速度),这个时候我们就需要更深入的理解模型的内部结构和原理,从而通过估算模型内部的参数量和计算量来对模型的大小和速度进行一个初步评估。

    一个朴素的评估模型速度的想法是评估它的计算量。一般我们用FLOPS,即每秒浮点操作次数FLoating point OPerations per Second这个指标来衡量GPU的运算能力。这里我们用MACC,即乘加数Multiply-ACCumulate operation,或者叫MADD,来衡量模型的计算量。不过这里要说明一下,用MACC来估算模型的计算量只能大致地估算一下模型的速度。模型最终的的速度,不仅仅是和计算量多少有关系,还和诸如内存带宽、优化程度、CPU流水线、Cache之类的因素也有很大关系。

    下面我们对计算量来进行介绍和定义,方便我们后续展开层的讲解:

    神经网络中的许多计算都是点积,例如:

    y = w[0]*x[0] + w[1]*x[1] + w[2]*x[2] + ... + w[n-1]*x[n-1]
    
    

    此处,  和  是两个向量,结果  是标量(单个数字)。对于卷积层或完全连接的层(现代神经网络中两种主要类型的层),  是该层的学习权重,  是该层的输入。我们将  计数为一个乘法累加或1个MACC,这里的“累加”运算是加法运算,因为我们将所有乘法的结果相加,所以上式具有  个这样的MACC(从技术上讲,上式中只有  个加法,比乘法数少一个,所以这里知识认为MACC的数量是一个近似值)。就FLOPS而言,因为有  个乘法和  个加法,所以点积执行  FLOPS,因此,MACC大约是两个FLOPS。现在,我们来看几种不同的层类型,以了解如何计算这些层的MACC数量。

    注意了:下面的阐述如果没有特别说明,默认都是batch为1。

    全连接层计算量和参数量估计

    在完全连接的层中,所有输入都连接到所有输出。对于具有  输入值和  输出值的图层,其权重  可以存储在  矩阵中。全连接层执行的计算为:

    在这里,  是  输入值的向量,  是包含图层权重的  矩阵,  是  偏差值的向量,这些值也被相加。结果  包含由图层计算的输出值,并且也是大小  的向量。对于完全连接层来说,矩阵乘法为  ,其中具有  个MACC(和权重矩阵  大小一样),对于偏置  ,正好补齐了前面我们所说的点积中正好少一个加法操作。因此,比如一个具有300个输入神经元和100个输出神经元的全连接层执行  个MACC。特别提示:上面我们讨论的批次大小  需要具体计算需要乘上Batch。

    也就是说,通常,将长度为  的向量与  矩阵相乘以获得长度为  的向量,则需要  MACC或  FLOPS。

    上面我们讨论了全连接层的计算量,那么它的参数量是多少呢?这个应该很容易就算出来,对于全连接层而言,它的参数分别是权重  和 偏置  ,所以对于上面的例子中具有300个输入神经元和100个输出神经元的全连接层的参数量是:  ,这个很容易进行验证,下图是使用TensorFlow进行验证参数量:

    激活函数计算量

    通常,一个层后面紧接着就是非线性激活函数,例如ReLU或sigmoid,理所当然的计算这些激活函数需要时间,但在这里我们不用MACC进行度量,而是使用FLOPS进行度量,原因是它们不做点积,一些激活函数比其他激活函数更难计算,例如一个ReLU只是:

    这是在GPU上的一项操作,激活函数仅应用于层的输出,例如在具有  个输出神经元的完全连接层上,ReLU计算  次,因此我们将其判定为  FLOPS。而对于Sigmoid激活函数来说,有不一样了,它涉及到了一个指数,所以成本更高:

    在计算FLOPS时,我们通常将加,减,乘,除,求幂,平方根等作为单个FLOP进行计数,由于在Sigmoid激活函数中有四个不同的运算,因此将其判定为每个函数输出4 FLOPS或总层输出  FLOPS。所以实际上,通常不计这些操作,因为它们只占总时间的一小部分,更多时候我们主要对(大)矩阵乘法和点积感兴趣,所以其实我们通常都是忽略激活函数的计算量。

    对于参数量?注意了它压根没有参数,请看它们的公式,用TensorFlow验证如下:

    LSTM计算量和参数量估计

    关于LSTM的原理可以参考这一篇文章

    Understanding LSTM Networkscolah.github.io

    http://colah.github.io/posts/2015-08-Understanding-LSTMs/

    LSTM结构如下:

    实际上LSTM里面有 4 个非线性变换(3 个 门 + 1 个 tanh),每一个非线性变换说白了就是一个全连接网络,形如:  。其中,第一层是  和  的结合,维度就是embedding_size + hidden_size,第二层就是输出层,维度为 hidden_size,则它的计算量按照上文我们对全连接层的阐述,易得MACC为:

    (embedding_size + hidden_size) * hidden_size * 4
    
    

    四个非线性变换中,还会对全连接层的输出进行激活函数计算(三个sigmoid和一个tanh),由上面讨论的sigmoid我们知道,对于sigmoid的计算量为:(embedding_size + hidden_size) * hidden_size * 3 *4个FLOPS,而tanh的计算公式为:  ,其中共有八个加,减,乘,除,求幂,平方根等计算,所以计算量为:(embedding_size + hidden_size) * hidden_size * 8个FLOPS。除此之外,LSTM除了在四个非线性变换中的计算,还有三个矩阵乘法(不是点积)、一个加法、一个tanh计算,其中三个矩阵乘法都是shape为(batch, hidden_size),则这四个运算的计算量为:batch * hidden_size + batch * hidden_size + batch * hidden_size + batch * hidden_size + batch * hidden_size * 8,综上所述,LSTM的计算量为:

    (embedding_size + hidden_size) * hidden_size * 4 个MACC
    embedding_size * hidden_size * 8 + hidden_size * (hidden_size + 20) 个FLOPS
    
    

    而该网络的参数量就是:

    ((embedding_size + hidden_size) * hidden_size + hidden_size) * 4
    
    

    对于特征维128的输入,LSTM单元数为64的网络来说,LSTM的参数量为:((128 + 64) * 64 + 64) * 4 = 49408,通过TensorFlow验证如下:

    卷积层计算量和参数量估计

    卷积层的输入和输出不是矢量,而是shape为  的三维特征图,其中  是特征图的高度,  是宽度,  是每个位置的通道数,正如我们所见今天使用的大多数卷积层都是二维正方内核,对于内核大小为  的转换层,MACC的数量为:

    • 输出特征图中有Hout × Wout × Cout个像素;

    • 每个像素对应一个立体卷积核K x K x Cin在输入特征图上做立体卷积卷积出来的;

    • 而这个立体卷积操作,卷积核上每个点都对应一次MACC操作

    同样,我们在这里为了方便忽略了偏置和激活。我们不应该忽略的是层的stride,以及任何dilation因子,padding等。这就是为什么我们需要参看层的输出特征图的尺寸Hout × Wout,因它考虑到了stride等因素。比如,对于  ,128个filter的卷积,在  带有64个通道的输入特征图上,我们执行MACC的次数是:

    这几乎是10亿次累积运算!注意:在此示例中,我们使用“same”填充和  ,以便输出特征图与输入特征图具有相同的大小。通常看到卷积层使用  ,这会将输出特征图大小减少一半,在上面的计算中,我们将使用  而不是 

    那我们现在来计算一下参数量,如果了解卷积的原理,应该也不难算出它的参数量(可能有人会说卷积原理怎么理解,这里推荐一篇写得通俗易懂的文章:

    G-kdom:CNN基础知识——卷积(Convolution)、填充(Padding)、步长(Stride)

    https://zhuanlan.zhihu.com/p/77471866

    根据卷积的原理,对于上面的例子中,  ,128个filter的卷积,在  带有64个通道的输入特征图上的参数量为:  ,用TensorFlow验证结果如下图:

    深度可分离卷积层

    深度可分离卷积是将常规卷积因式分解为两个较小的运算,它们在一起占用的内存更少(权重更少),并且速度更快,这些层在移动设备上可以很好地工作,既是MobileNet的基础,也是Xception等大型模型的基础。深度可分离卷积中,第一个操作是深度卷积,它在很多方面与常规卷积相似,不同之处在于我们不合并输入通道,也就是说输出通道数始终与输入通道数相同,深度卷积的MACC总数为:

    这减少了  的工作量,比常规的卷积层效率更高。当然,仅深度卷积是不够的,我们还需要增加“可分离”,第二个操作是常规卷积,但始终使用内核大小  ,即  ,也称为“逐点”卷积,MACC的数量为:

    深度可分离卷积分为两个操作,深度卷积和可分离,所以现在我们对两种操作分别就上面的例子计算,和并和常规  卷积进行比较:

    3×3 depthwise          : 7,225,344
    1×1 pointwise          : 102,760,448
    深度可分离卷积          : 109,985,792 MACCs
    
    常规 3×3 卷积           : 924,844,032 MACCs
    
    

    所以深度可分离卷积的计算量简化为:

    我们来看看MobileNet V2中的对深度可分离卷积的拓展,MobileNet V2相比与V1,主要是由DW+PW两层变成了下面的三层PW+DW+PW:

    • 一个  卷积,为特征图添加更多通道(称为expansion layer)

    • 深度卷积,用于过滤数据(depthwise convolution)

    • 卷积,再次减少通道数(projection layer,bottleneck convolution)

    这种扩展块中MACC数量的公式:Cexp = (Cin × expansion_factor),(expansion_factor用于创建深度层要处理的额外通道,使得Cexp在此块内使用的通道数量)

    • ,(参照上面传统卷积,把卷积核设置为1x1即得)

    • (参照MoblieNet V1分析)

    • (参照MoblieNet V1分析,或者传统卷积把卷积核设置为1x1即得)

    把所有这些放在一起:

    这与MobileNet V1使用的深度可分层相比如何?如果我们使用输入特征图  扩展因子6,以及  的  深度卷积和128输出通道,那么MACC的总数是:

    这不是比以前更多吗?是的,它甚至超过了最初的  卷积。但是......请注意,由于扩展层,在这个块内,我们实际上使用了  通道。因此,这组层比原始的  卷积做得更多(从64到128个通道),而计算成本大致相同。

    Batch normalization

    在现代网络中,通常在每个卷积层之后都包含一个batch norm层。对于想要详细了解Batch normalization的原理,可参考这篇文章:

    DengBoCong:论文阅读笔记:看完也许能进一步了解Batch Normalization

    https://zhuanlan.zhihu.com/p/340219662

    Batch normalization在层的输出上进行计算,针对每个输出值,计算公式如下:

    此处,  是上一层的输出图中的元素。我们首先通过减去该输出通道的平均值并除以标准偏差来对该值进行归一化(epsilon 用于确保不除以0,通常为0.001),然后,我们将系数gamma缩放,然后添加一个偏差或偏移beta。每个通道都有自己的gamma,beta,均值和方差值,因此,如果卷积层的输出中有  个通道,则Batch normalization层将学习  参数,如下图所示:

    通常将Batch normalization应用于卷积层的输出,而在ReLU之前,在这种情况下,我们可以做一些数学运算以使Batch normalization层消失!由于在全连接层中进行的卷积或矩阵乘法只是一堆点积,它们是线性变换,而上面给出的Batch normalization公式也是线性变换,因此我们可以将这两个公式组合为一个变换。我们只需要将Batch normalization参数合并到前面各层的权重中,其数学运算非常简单。具体可以参见上面的那篇关于Batch Normalization的文章,也就是说我们可以完全忽略Batch Normalization层的影响,因为我们在进行推理时实际上将其从模型中删除了。

    注意:此trick仅在层的顺序为:卷积->BN->ReLU时才有效;不适用于:卷积->ReLU->BN。ReLU是一个非线性操作,它会把数据弄乱。(但如果批量标准化后面紧跟一个新的卷积层,你可以反过来折叠参数)

    其它层

    池化层

    到此我们研究了卷积层和全连接层,这两个是现代神经网络中最重要的组成部分。但是也有其他类型的层,例如池化层。这些其他层类型肯定需要时间,但它们不使用点积,因此不能用MACC测量。如果你对计算FLOPS感兴趣,只需获取特征图大小并将其乘以表示处理单个输入元素的难度的常量。

    示例:在  具有128通道的特征图上具有过滤器大小2和步幅2的最大池化层需要  FLOPS或1.6兆FLOPS。当然,如果步幅与滤波器尺寸不同(例如  窗口,  步幅),则这些数字会稍微改变。

    但是,在确定网络的复杂性时,通常会忽略这些附加层。毕竟,与具有100个MFLOPS的卷积/全连接层相比,1.6 MFLOPS非常小。因此,它成为网络总计算复杂度的舍入误差。

    Concate层

    某些类型的操作,例如结果的连接,通常甚至可以免费完成。不是将两个层分别写入自己的输出张量中,然后有一个将这两个张量复制到一个大张量的连接层。相反,第一层可以直接写入大张量的前半部分,第二层可以直接写入后半部分。不需要单独的复制步骤。

    总结

    • 减少参数

    • 降低精度

    • 融合计算单元步骤

    参考资料:

    卷积神经网络中参数量的计算与模型占用显存的计算(https://www.jianshu.com/p/b8d48c99a47c)

    How fast is my model?(http://machinethink.net/blog/how-fast-is-my-model/)

    Understanding LSTM Networks(http://colah.github.io/posts/2015-08-Understanding-LSTMs/)

    Number of parameters in an LSTM model(https://datascience.stackexchange.com/questions/10615/number-of-parameters-in-an-lstm-model)

    CNN卷积层、全连接层的参数量、计算量(https://zhuanlan.zhihu.com/p/77471991)

    Learning both Weights and Connections for Efficient Neural Networks(https://arxiv.org/abs/1506.02626)

    猜您喜欢:
    超100篇!CVPR 2020最全GAN论文梳理汇总!
    
    拆解组新的GAN:解耦表征MixNMatch
    
    StarGAN第2版:多域多样性图像生成
    附下载 | 《可解释的机器学习》中文版
    
    附下载 |《TensorFlow 2.0 深度学习算法实战》
    
    附下载 |《计算机视觉中的数学方法》分享
    
    《基于深度学习的表面缺陷检测方法综述》
    
    《零样本图像分类综述: 十年进展》
    
    《基于深度神经网络的少样本学习综述》
    
    
    展开全文
  • 【单选题】为防止大型铸钢件热节处产生缩孔或缩松、生产中常采用的工艺措施是( ) 【多选题】用普通最小二乘法估计模型 的参数,要使获得的参数估计量具备最佳线性无偏估计,则要求 【多选题】关于 论辩的 说法,下列...

    【简答题】workforce

    【简答题】state-owned

    【单选题】下面的叙述正确的是( )

    【多选题】哪些电影作品获得了奥斯卡最佳影片奖?

    【简答题】vision

    【简答题】铸件的壁厚为什么不能太薄,也不宜太厚,而且应尽可能厚薄均匀?确定下图铸件最易产生缩孔缩松的部位,在保证尺寸H和孔径的前提下,如何改变铸件的结构来避免热节的产生?

    【简答题】global provider of financing solutions

    【填空题】计量经济模型普通最小二乘法的五个基本假定有____、____、____、____、____。

    【多选题】产生缩孔、缩松的基本原因:( )

    【简答题】innovation

    【多选题】关于 论辩过程 ,下列说法正确的有哪些 ?

    【判断题】线性回归模型的随机误差项不服从正态分布,OLS估计量将是有偏的

    【简答题】Board of Directors

    【单选题】铸件上垂直于分型面的立壁均应有斜度。当立壁的表面为非加工面时,该斜度称为( )

    【简答题】stockholder

    【单选题】图示圆锥齿轮铸件,齿面质量要求较高。材料HT350,小批生产。最佳浇注位置及分型面的方案是:( )

    【单选题】用金属型和砂型铸造的方法生产同一个零件毛坯,一般( )

    【单选题】下面的叙述正确的是( )

    【多选题】下面对于特种铸造的描述正确的是: ( )

    【单选题】下列孢子中属于霉菌无性孢子的是()。

    【判断题】外围企业则是指主体企业无法控制且对其影响力也较小的企业。

    【单选题】钢套镶铜轴承是一个双金属结构件,能够方便的铸造出该件的铸造方法是( )

    【简答题】请下载附件后完成作业并上传 G02和G03指令运用训练作业.docx

    【单选题】下列合金流动性最好的是:( )

    【单选题】艾德温 • S. 鲍特的哪一部电影实现了摆脱实际时间的束缚,发展了电影叙事,并开创了运用交叉蒙太奇讲故事的先河?

    【判断题】在供应链上,不同角色的节点企业具有不同的特征,起到不同的作用,但对整个供应链运作的影响程度是相同的。

    【单选题】产生假根是()的形态特征。

    【单选题】下列 项目不能 在 “ 营业 税金及附加 ” 账户 中列支的是()

    【多选题】下列关于论说文的说法,正确的有哪些 ?

    【判断题】卢米埃尔的纪实性电影对后世影响深远,为写实主义电影和纪录片开了先河。

    【口语题】Retelling: After you have read the paragraph, you are required to retell the main idea of this paragraph in your words and upload your retelling in audio form.

    【单选题】在下列铸造合金中,自由收缩率最小的是:( )

    【单选题】以下不属于估计量的小样本性质的有

    【单选题】用"最小壁厚"指标限制铸件的壁厚,主要是因为壁厚过小的铸件易产生:( )

    【名词解释】什么是 “票房炸弹”?

    【多选题】液态合金浇注温度冷却到室温所经历的收缩阶段有:( )

    【填空题】梅里爱最重要的代表作( )表现出了丰富的想象力和轻松的幽默感。

    【单选题】为防止大型铸钢件热节处产生缩孔或缩松、生产中常采用的工艺措施是( )

    【多选题】用普通最小二乘法估计模型 的参数,要使获得的参数估计量具备最佳线性无偏估计性,则要求

    【多选题】关于 论辩的 说法,下列正确的有哪些?

    【单选题】在铸造过程中,不利于提高液态合金充型能力的措施有( )

    【单选题】参数 的估计量 具备有效性是指

    【简答题】capital

    【多选题】影响液态合金充型能力的主要因素是:( )

    【多选题】关于 论辩的“理由” ,下列说法正确的有哪些 ?

    【多选题】挖沙或假箱造型时候,分型面:( )

    【单选题】下列叙述正确的是:( )

    【单选题】属于有性孢子的为()。

    【简答题】leading manufacturer

    【简答题】integrated strategies

    展开全文
  • 计量笔记(二) | OLS估计量性质

    千次阅读 2021-03-28 16:49:46
    上文中《计量笔记(一) | OLS估计量推导》我们通过基本公式和矩阵形式两种方式推导出了OLS估计量的表达式,那么OLS估计量有什么优良性质呢? 在线性模型的经典假设的前提下,OLS估计量有优良的性质,即高斯-马尔可夫...

    上文中《计量笔记(一) | OLS估计量推导》我们通过基本公式和矩阵形式两种方式推导出了OLS估计量的表达式,那么OLS估计量有什么优良性质呢?

    在线性模型的经典假设的前提下,OLS估计量有优良的性质,即高斯-马尔可夫定理

    经典假设

    1、零均值假定

    假定随机干扰项 ε \pmb{\varepsilon} εεε期望向量或均值向量为零
    E ( ε ) = E [ ε 1 ε 2 ⋮ ε n ] = [ E ( ε 1 ) E ( ε 2 ) ⋮ E ( ε n ) ] = [ 0 0 ⋮ 0 ] = 0 E(\pmb{\varepsilon})= E \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{bmatrix} =\begin{bmatrix} E(\varepsilon_1) \\ E(\varepsilon_2) \\ \vdots \\ E(\varepsilon_n) \end{bmatrix} =\begin{bmatrix} 0 \\ 0 \\ \vdots\\ 0 \end{bmatrix} =\pmb{0} E(εεε)=Eε1ε2εn=E(ε1)E(ε2)E(εn)=000=000
    2、同方差和无序列相关假定

    假定随机干扰项 ε \pmb{\varepsilon} εεε不存在序列相关且方差相同

    这里推导过程中使用了零均值假定
    V a r ( ε ) = E [ ( ε − E ( ε ) ( ε − E ( ε ) τ ] = E ( ε ε τ ) = E [ ( ε 1 ε 2 ⋮ ε n ) ( ε 1 ε 2 ⋯ ε n ) ] = [ E ( ε 1 , ε 1 ) E ( ε 1 , ε 2 ) ⋯ E ( ε 1 , ε n ) E ( ε 2 , ε 1 ) E ( ε 2 , ε 2 ) ⋯ E ( ε 2 , ε n ) ⋮ ⋮ ⋮ ⋮ E ( ε n , ε 1 ) E ( ε n , ε 2 ) ⋯ E ( ε n , ε n ) ] = [ σ 2 0 ⋯ 0 0 σ 2 ⋯ 0 ⋮ ⋮ ⋮ ⋮ 0 0 ⋯ σ 2 ] = σ 2 I n \begin{aligned} Var(\pmb{\varepsilon}) & = E[(\pmb{\varepsilon}-E(\pmb{\varepsilon})(\pmb{\varepsilon}-E(\pmb{\varepsilon})^{\tau}] \\ & = E(\pmb{\varepsilon}\pmb{\varepsilon}^{\tau}) \\ & = E\begin{bmatrix} \begin{pmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{pmatrix} \begin{pmatrix} \varepsilon_1 & \varepsilon_2 & \cdots & \varepsilon_n \end{pmatrix} \end{bmatrix} \\ & = \begin{bmatrix} E(\varepsilon_1,\varepsilon_1) & E(\varepsilon_1,\varepsilon_2) & \cdots & E(\varepsilon_1,\varepsilon_n) \\ E(\varepsilon_2,\varepsilon_1) & E(\varepsilon_2,\varepsilon_2) & \cdots & E(\varepsilon_2,\varepsilon_n) \\ \vdots & \vdots & \vdots & \vdots \\ E(\varepsilon_n,\varepsilon_1) & E(\varepsilon_n,\varepsilon_2) & \cdots & E(\varepsilon_n,\varepsilon_n) \end{bmatrix} \\ & = \begin{bmatrix} \sigma^2 & 0 & \cdots & 0 \\ 0 & \sigma^2 & \cdots & 0 \\ \vdots & \vdots & \vdots & \vdots \\ 0 & 0 & \cdots & \sigma^2 \end{bmatrix} \\ & = \sigma^2\pmb{I}_n \end{aligned} Var(εεε)=E[(εεεE(εεε)(εεεE(εεε)τ]=E(εεεεεετ)=Eε1ε2εn(ε1ε2εn)=E(ε1,ε1)E(ε2,ε1)E(εn,ε1)E(ε1,ε2)E(ε2,ε2)E(εn,ε2)E(ε1,εn)E(ε2,εn)E(εn,εn)=σ2000σ2000σ2=σ2IIIn

    3、随机干扰项与解释变量相互独立假定

    直观理解是干扰项中不包含解释变量的信息

    通常假定 X X X中的元素 X 2 , i , X 3 , i , ⋯   , X k , i X_{2,i},X_{3,i},\cdots,X_{k,i} X2,i,X3,i,,Xk,i为非随机变量,这个假设自动成立
    E ( X τ ε ) = 0 E(X^{\tau}\pmb{\varepsilon})=\pmb{0} E(Xτεεε)=000
    4、无多重共线性假定

    各解释变量之间不存在线性关系

    即数据矩阵 X X X列满秩
    R a n k ( X ) = k Rank(X)=k Rank(X)=k
    5、正态性假定

    假定随机干扰项服从正态分布

    以下方式表示包括了假定1、假定2、假定5
    ε − N ( 0 , σ 2 I n ) \pmb{\varepsilon} - N(\pmb{0},\sigma^2\pmb{I}_n) εεεN(000,σ2IIIn)
    OLS估计量性质

    高斯-马尔可夫定理:在线性模型的经典假设下,参数的最小二乘估计量是线性无偏估计量中方差最小的估计量(BLUE估计量)

    1、线性特性

    参数估计量 β ^ \pmb{\hat{\beta}} β^β^β^既是因变量观测值 Y Y Y的线性组合,也是随机误差项 ε \pmb{\varepsilon} εεε的线性组合
    β ^ = ( X τ X ) − 1 X τ Y = ( X τ X ) − 1 X τ ( X β + ε ) = ( X τ X ) − 1 X τ X β + ( X τ X ) − 1 X τ ε = β + ( X τ X ) − 1 X τ ε \begin{aligned} \pmb{\hat\beta} & = (X^{\tau}X)^{-1}X^{\tau}Y \\ & = (X^{\tau}X)^{-1}X^{\tau}(X \pmb{\beta} + \pmb{\varepsilon}) \\ & = (X^{\tau}X)^{-1}X^{\tau}X \pmb{\beta} + (X^{\tau}X)^{-1}X^{\tau}\pmb{\varepsilon} \\ & = \pmb{\beta} + (X^{\tau}X)^{-1}X^{\tau}\pmb{\varepsilon} \end{aligned} β^β^β^=(XτX)1XτY=(XτX)1Xτ(Xβββ+εεε)=(XτX)1XτXβββ+(XτX)1Xτεεε=βββ+(XτX)1Xτεεε
    这里推导未使用任何假定,令 A = ( X τ X ) − 1 X τ A=(X^{\tau}X)^{-1}X^{\tau} A=(XτX)1Xτ,则 β ^ = A Y = β + A ε \pmb{\hat\beta} =AY=\pmb{\beta} + A\pmb{\varepsilon} β^β^β^=AY=βββ+Aεεε

    其中,矩阵 A A A k k k n n n列元素构成, k k k指解释变量个数包括截距项, n n n是指观测值个数

    对于某个参数 β ^ k \hat\beta_k β^k是矩阵 A A A k k k行元素构成的行向量与因变量观测值 Y Y Y的向量积

    线性特性是确定参数估计量的分布性质和进行统计推断的重要基础

    2、无偏性

    参数估计量 β ^ \pmb{\hat{\beta}} β^β^β^的期望等于总体参数
    E ( β ^ ) = E ( β + A ε ) = E ( β ) + A E ( ε ) = β \begin{aligned} E(\pmb{\hat\beta}) & = E(\pmb{\beta} + A\pmb{\varepsilon}) \\ & = E(\pmb{\beta}) + AE(\pmb{\varepsilon}) \\ & = \pmb{\beta} \end{aligned} E(β^β^β^)=E(βββ+Aεεε)=E(βββ)+AE(εεε)=βββ
    这里用到了线性特性、假定1、假定3

    3、方差最小性

    OLS估计量的有效性,也称为“最小方差性”,即在模型参数的所有线性无偏估计量中OLS估计的方差最小

    先求OLS估计量的协方差矩阵
    V a r ( β ^ ) = E [ ( β ^ − E ( β ^ ) ) ( β ^ − E ( β ^ ) ) τ ] = E [ ( β ^ − β ) ( β ^ − β ) τ ] = E [ ( A ε ) ( A ε ) τ ] = E [ A ε ε τ A τ ] = A E ( ε ε τ ) A τ = A σ 2 I n A τ = σ 2 A A τ = σ 2 ( X τ X ) − 1 X τ X ( X τ X ) − 1 = σ 2 ( X τ X ) − 1 \begin{aligned} Var(\pmb{\hat\beta}) & = E[(\pmb{\hat\beta}-E(\pmb{\hat\beta}))(\pmb{\hat\beta}-E(\pmb{\hat\beta}))^{\tau}] \\ & = E[(\pmb{\hat\beta}-\pmb{\beta})(\pmb{\hat\beta}-\pmb{\beta})^{\tau}] \\ & = E[(A\pmb{\varepsilon})(A\pmb{\varepsilon})^{\tau}] \\ & = E[A\pmb{\varepsilon}\pmb{\varepsilon}^{\tau}A^{\tau}] \\ & = AE(\pmb{\varepsilon}\pmb{\varepsilon}^{\tau})A^{\tau} \\ & = A\sigma^2\pmb{I}_nA^{\tau} \\ & = \sigma^2AA^{\tau} \\ & = \sigma^2(X^{\tau}X)^{-1}X^{\tau}X(X^{\tau}X)^{-1} \\ & = \sigma^2(X^{\tau}X)^{-1} \end{aligned} Var(β^β^β^)=E[(β^β^β^E(β^β^β^))(β^β^β^E(β^β^β^))τ]=E[(β^β^β^βββ)(β^β^β^βββ)τ]=E[(Aεεε)(Aεεε)τ]=E[AεεεεεετAτ]=AE(εεεεεετ)Aτ=Aσ2IIInAτ=σ2AAτ=σ2(XτX)1XτX(XτX)1=σ2(XτX)1
    这里因为 ( X τ X ) − 1 (X^{\tau}X)^{-1} (XτX)1是对称矩阵,所以它的转置还是它本身,所以 A τ = X ( X τ X ) − 1 A^{\tau}=X(X^{\tau}X)^{-1} Aτ=X(XτX)1

    这里用到无偏性、线性特性、假定3、假定2

    接下来就要证明上述OLS估计量的协方差矩阵是所有线性无偏估计量的协方差矩阵中是最小的(省略)

    参数的OLS估计量 β ^ \pmb{\hat{\beta}} β^β^β^的分布形式

    我们在证明OLS估计量具有最佳线性无偏估计量性质的过程中仅使用了假定1、假定2、假定3,未使用到假定4和假定5,并且在证明过程中,我们也知道了OLS估计量的均值和方差,如果我们进一步知道OLS估计量分布形式,就可以进行统计推断了

    根据假定5,可以推导出参数的OLS估计量 β ^ \pmb{\hat{\beta}} β^β^β^也是服从正态分布的

    根据线性特性 β ^ = A Y = β + A ε \pmb{\hat\beta} =AY=\pmb{\beta} + A\pmb{\varepsilon} β^β^β^=AY=βββ+Aεεε,说明参数的OLS估计量 β ^ \pmb{\hat{\beta}} β^β^β^是随机误差项 ε \pmb{\varepsilon} εεε的线性组合,而根据假定5随机误差项 ε \pmb{\varepsilon} εεε服从正态分布,所以参数的OLS估计量 β ^ \pmb{\hat{\beta}} β^β^β^也服从正态分布

    因为 E ( β ^ ) = β E(\pmb{\hat\beta})=\pmb{\beta} E(β^β^β^)=βββ V a r ( β ^ ) = σ 2 ( X τ X ) − 1 Var(\pmb{\hat\beta}) =\sigma^2(X^{\tau}X)^{-1} Var(β^β^β^)=σ2(XτX)1,所以参数的OLS估计量 β ^ \pmb{\hat{\beta}} β^β^β^正态分布形式为
    β ^ − N ( β , σ 2 ( X τ X ) − 1 ) \pmb{\hat\beta}-N(\pmb{\beta},\sigma^2(X^{\tau}X)^{-1}) β^β^β^N(βββ,σ2(XτX)1)
    对于具体的某个估计量 b j ^ \hat{b_j} bj^的分布形式为 b j ^ − N ( b j , σ 2 ( ( X τ X ) − 1 ) j j ) \hat{b_j}-N(b_j,\sigma^2((X^{\tau}X)^{-1})_{jj}) bj^N(bj,σ2((XτX)1)jj)

    随机误差项方差的估计

    前文推导过程中,我们求出了参数的OLS估计量 β ^ \pmb{\hat{\beta}} β^β^β^的具体数值, β ^ = ( X τ X ) − 1 X τ Y \pmb{\hat\beta} = (X^{\tau}X)^{-1}X^{\tau}Y β^β^β^=(XτX)1XτY,我们求出了参数的OLS估计量 β ^ \pmb{\hat{\beta}} β^β^β^的期望和方差, E ( β ^ ) = β E(\pmb{\hat\beta})=\pmb{\beta} E(β^β^β^)=βββ V a r ( β ^ ) = σ 2 ( X τ X ) − 1 Var(\pmb{\hat\beta}) =\sigma^2(X^{\tau}X)^{-1} Var(β^β^β^)=σ2(XτX)1,我们甚至求出了参数的OLS估计量 β ^ \pmb{\hat{\beta}} β^β^β^的分布形式, β ^ − N ( β , σ 2 ( X τ X ) − 1 ) \pmb{\hat\beta}-N(\pmb{\beta},\sigma^2(X^{\tau}X)^{-1}) β^β^β^N(βββ,σ2(XτX)1)

    但是,不难发现,上述表达式中,始终有个随机误差项的方差 σ 2 \sigma^2 σ2的取值我们不得而知,事实上我们也无法计算,因为我们不知道总体回归模型和总体样本是如何

    但是,我们可以对 σ 2 \sigma^2 σ2进行估计,若计
    σ ^ 2 = ∑ e i 2 n − k \hat{\sigma}^2= \frac{\sum{e_i^2}}{n-k} σ^2=nkei2
    可以证明, E ( σ ^ 2 ) = σ 2 E(\hat{\sigma}^2)=\sigma^2 E(σ^2)=σ2,证明省略

    那么,对于具体的某个估计量 b j ^ \hat{b_j} bj^的分布形式为 b j ^ − N ( b j , σ ^ 2 ( ( X τ X ) − 1 ) j j ) \hat{b_j}-N(b_j,\hat\sigma^2((X^{\tau}X)^{-1})_{jj}) bj^N(bj,σ^2((XτX)1)jj)

    知乎与公号:财会程序猿的笔记(ID:wylcfy2014)
    不定期推送:Python+Stata | 文本分析+机器学习 | 财务+会计

    在这里插入图片描述

    参考资料
    [1]朱建平等,高级计量经济学导论
    [2]孙敬水,中级计量经济学

    展开全文
  • 参数估计(基于R)

    2021-10-21 18:18:24
    首先,参数估计用样本统计量去估计总体的参数,参数估计的方法有点估计和区间估计。 点估计是用估计量的某个取值来直接作为总体参数的取值,比如用样本均值作为总体均值,样本方差作为总体方差,但点估计无法...

    首先,参数估计是指用样本统计量去估计总体的参数,参数估计的方法有点估计和区间估计。

    • 点估计是用估计量的某个取值来直接作为总体参数的取值,比如用样本均值作为总体均值,样本方差作为总体方差,但点估计无法得到估计的可靠性,也无法说出点估计值与总体参数真实值接近的程度,所以我们应该围绕点估计值构造出总体参数的一个区间
    • 区间估计是在点估计的基础上得到总体参数的一个估计区间,该区间通常是由样本统计量加减估计误差得到的。
    • 在区间估计中,由样本估计量构造出的总体参数在一定置信水平下的估计区间称为置信区间;假定抽取100个样本构造出100个置信区间,这100个置信区间中有95%的区间包含总体参数的真值,则95%这个值称为置信水平

    一、评量估计量的标准

    1.无偏性:指估计量抽样分布的期望值等于被估计的总体参数。

    #无偏性
    #样本均值、样本中位数和样本方差的无偏性模拟
    x<-vector();m<-vector();v<-vector()
    n=10
    for(i in 1:10000){
      d<-rnorm(n,50,10)
      x<-append(x,mean(d))
      m<-append(m,median(d))
      v<-append(v,var(d))
    }
    data.frame(mean(x),mean(m),mean(v))
    

    2.有效性:指估计量的方差大小。

    #有效性
    #计算样本均值的方差和样本中位数的方差
    x<-vector();m<-vector()
    n=10;
    for(i in 1:10000){
      d<-rnorm(n)
      x<-append(x,mean(d))
      m<-append(m,median(d))
    }
    data.frame(var(x),var(m))
    
    • 我们可以进一步绘制均值和样本中位数分布的直方图,如下:
    par(mfrow=c(1,2),mai=c(0.7,0.7,0.4,0.2),cex=0.8)
    hist(x,prob=T,col="lightblue",xlim=c(-1.5,1.5),ylim=c(0,1.2),xlab="样本均值",main="样本均值的分布",cex.main=0.8)
    lines(density(x),col="red",lwd=2)
    hist(m,prob=T,col="lightgreen",xlim=c(-1.5,1.5),ylim=c(0,1.2),xlab="中位数",main="样本中位数的分布",cex.main=0.8)
    lines(density(m),col="red",lwd=2)
    

    其结果如图:
    在这里插入图片描述

    3.一致性:指随着样本量无限增大,统计量收敛于所估计的参数,即一个大样本得到的估计量更接近于总体参数。

    #一致性
    #样本量分别为10,100,500,900时的样本均值
    set.seed(12)
    N=rnorm(1000,50,10)
    mu=mean(N)
    xbar10<-mean(sample(N,10,replace=F))
    xbar100<-mean(sample(N,100,replace=F))
    xbar500<-mean(sample(N,500,replace=F))
    xbar900<-mean(sample(N,900,replace=F))
    data.frame(总体均值=mu,xbar10,xbar100,xbar500,xbar900)
    data.frame("d10"=(xbar10-mu),"d100"=(xbar100-mu),"d500"=(xbar500-mu),"d900"=(xbar900-mu))
    

    二、总体均值的区间估计

    1.一个总体均值的估计

    • 大样本的估计
    #大样本的估计(n>=30)
    example5_1<-read.csv("D:/R/example5_1.csv")
    library(lattice)
    library(BSDA)
    z.test(example5_1$耗油量,mu=0,sigma.x=sd(example5_1$耗油量),conf.level=0.90)
    z.test(example5_1$耗油量,mu=0,sigma.x=sd(example5_1$耗油量),conf.level=0.90)$conf.int
    
    • 小样本的估计
    #小样本的估计(n<30)
    example5_2<-read.csv("D:/R/example5_2.csv")
    t.test(example5_2,conf.level=0.95)
    t.test(example5_2)$conf.int
    

    2.两个总体均值之差的估计

    • 独立大样本的估计
    #独立大样本的估计
    example5_3<-read.csv("D:/R/example5_3.csv")
    library(BSDA)
    z.test(example5_3$男性工资,example5_3$女性工资,mu=0,sigma.x=sd(example5_3$男性工资),sigma.y=sd(example5_3$女性工资))$conf.int
    
    • 独立小样本的估计
    #独立小样本的估计
    example5_4<-read.csv("D:/R/example5_4.csv")
    t.test(x=example5_4$方法一,y=example5_4$方法二,var.equal=TRUE)$conf.int#方差相等
    t.test(x=example5_4$方法一,y=example5_4$方法二,var.equal=FALSE)$conf.int#方差不等
    
    • 配对样本的估计
    example5_5<-read.csv("D:/R/example5_5.csv")
    t.test(example5_5$试卷A,example5_5$试卷B,paired=TRUE)$conf.int
    

    三、总体比例的区间估计

    1.一个总体比例的估计

    • 大样本的估计方法
    n<-500;x<-325;p<-x/n;q<-qnorm(0.975)
    LCI<-p-q*sqrt(p*(1-p)/n)
    UCI<-p+q*sqrt(p*(1-p)/n)
    data.frame(LCI,UCI)
    
    library(Hmisc)
    library(survival)
    library(Formula)
    library(ggplot2)
    library(Hmisc)
    binconf(x,n,alpha=0.05,method="all")
    

    在这里插入图片描述

    注:使用Hmisc包中的binconf函数可以得到三种不同方法的区间:一是利用F分布计算的精确区间;二是基于得分检验的Wison近似置信区间;三是按式计算的大样本正态近似的置信区间。

    • 任意大小样本的估计方法
    n1<-500+4
    p1<-(325+2)/n1
    q<-qnorm(0.975)
    LCI<-p1-q*sqrt(p1*(1-p1)/n1)
    UCI<-p1+q*sqrt(p1*(1-p1)/n1)
    data.frame(LCI,UCI)
    

    2.两个总体比例之差的估计

    • 两个大样本的估计方法
    #两个大样本
    p1<-225/500;p2<-128/400
    q<-qnorm(0.975)
    LCI<-p1-p2-q*sqrt(p1*(1-p1)/500+p2*(1-p2)/400)
    UCI<-p1-p2+q*sqrt(p1*(1-p1)/500+p2*(1-p2)/400)
    data.frame(LCI,UCI)
    
    • 两个任意大小样本的估计方法
    #两个任意大小样本
    p1<-(225+1)/(500+2);p2<-(128+1)/(400+2)
    q<-qnorm(0.975)
    LCI<-p1-p2-q*sqrt(p1*(1-p1)/(500+2)+p2*(1-p2)/(400+2))
    UCI<-p1-p2+q*sqrt(p1*(1-p1)/(500+2)+p2*(1-p2)/(400+2))
    data.frame(LCI,UCI)
    

    四、总体方差的区间估计

    1.一个总体方差的估计

    #一个总体方差的估计
    example5_2<-read.csv("D:/R/example5_2.csv")
    library(Hmisc)
    library(BSDA)
    library(TeachingDemos)
    sigma.test(example5_2$食品重量,conf.level=0.95)$conf.int
    

    2.两个总体方差比的估计

    example5_4<-read.csv("D:/R/example5_4.csv")
    var.test(example5_4$方法一,example5_4$方法二,alternative="two.sided")$conf.int
    

    五、确定合适的样本量

    1.已知:最大容许误差E,总体标准差的估计s,置信度所对应的z值
    带入公式n=(z*s/E)^2
    例:

    z<-qnorm(0.05,low=F)#z<-qnorm(0.95)
    s<-2000;E<-100
    n<-(z*s/E)^2
    

    2.已知:最大容许误差E,比例估计值p,置信度所对应的z值
    带入公式n=p*(1-p)*(z/E)^2

    展开全文
  • 统计,以信仰之名:(三)衡量估计量的四大原则 2015-07-19 09:26 统计,以信仰之名:(三)衡量估计量的四大原则 原创2015-07-19浪荡游侠哆嗒数学网 哆嗒数学网 微信号 DuoDaaMath 功能介绍 数学交流,数学解答。 关注...
  • 作者丨龟壳@知乎(已授权)来源丨https://zhuanlan.zhihu.com/p/376925457编辑丨极市平台导读本文总结了一些关于模型参数量计算以及推理速度计算的方法,附有...
  • 非劣效性 等效性 有效性临床试验 非劣效是个什么鬼? 本文只是为了更好地理解临床试验中的优效性(superiority)、等效性(equivalence)以及非劣效性(non-inferiority),进一步了解可参阅: (1)CCTS工作小组.非...
  • PCSS)的不确定性估计如何量化点的预测标签的置信度,这对于决策任务至关重要,例如机器人抓取、路径规划和自动驾驶。本文作者提出了一种基于邻域空间聚合的方法,NSA-MC dropout,可以高效的实现点云语义分割的...
  • 点击上方“计算机视觉工坊”,选择“星标”干货第一时间送达作者丨Ironboy来源丨GiantPandaCV编辑丨极市平台导读本文作者结合论文和项目比赛的经验,讲述了轻级CNN的发展以及...
  • 1. 时序参数 1.1 ADC 1.2 FPGA 2. 延时计算 2.1 计算延时所需的LMFC周期数 前几天又重新复习了以下通过JESD204B SUBCLASS1实现确定延时的过程。以前对部分参数的计算过程不甚理解,这次算是搞清楚了。 学习...
  • 目录遍历容量/各态历经容量信道估计 遍历容量/各态历经容量 说遍历容量不十分准确,应该叫各态历经容量(是相对于中断容量说的)首先要理解《信息论》中得香农信道容量,然后结合《随机过程》这门课的内容来...
  • 分层抽样及估计量.ppt

    千次阅读 2020-12-24 13:17:40
    得 此时总费用约为: 2、 待估的参数为总体总和 由于总体总和的分层估计可以写成 ,样本容量 n 的确定是十分容易的。 假设 为 的允许的最大方差,由于 只需将 代入有关 的一切公式,就可以得到相应的 结论,下面列出...
  • 本篇主要讲概率论与数理统计常用到的样本空间、时间、随机变量、概率空间、多维随机变量、多元随机变量、样本、总体、统计等基本概念。
  • 光场领域深度估计

    千次阅读 2020-12-26 00:00:00
    点击上方“3D视觉工坊”,选择“星标”干货第一时间送达作者丨Vincent Qin编辑丨点云PCL本文将介绍光场领域进行深度估计的相关研究。光场相机是有一种区别于结构光,TOF,和双目相...
  • 本来是想在《概率论考点之估计量(高等数学求最值)》中完成的,但发现内容还是挺多的,也挺重要的,不得不新建一个文件。 1、什么是参数估计???? 参数估计:本质是对未知参数作出估计。又分为点估计和区间...
  • 极大似然估计、最大后验估计,都是总体的分布类型已知前提下的一种参数估计方法,他们对分布的未知参数 θ\thetaθ 进行估计,进而确定总体分布。区别在于极大似然估计仅根据观测到的结果(样本值)进行估计,而最大...
  • 由于估计多元线性回归参数所使用的OLS法建立在一系列基本假设下,而在实践中,这些假设难以被全部满足,因此在这类情况下,我们就需要改变分析方法。
  • 对最佳模型执行超参数调整 6. 在测试集合中评估最佳模型 7. 解释模型结果 8. 得出结论。在第一篇文章中,我们对数据进行了清理和结构化,进行了探索的数据分析,开发了一组用于我们模型的特征,并建立了一个基准...
  • 该模块在参数数量和计算成本上都与普通卷积层一样轻,并可以插入到网络的任何部分来补充空间信息。 5.Deep High-Resolution Representation Learning for Human Pose Estimation (2019CVPR) HRNet的体系结构...
  • SPSS-参数检验

    2021-04-21 09:58:39
    1. 假设检验 假设检验分为参数检验与非参数检验。 (1) 参数检验:已知总体分布, 猜测总体的某参数(原假设H0,null hypothesis),用一组样本来检验这个假设...若计算出Z统计的区间估计在(-k,k)之间,同时设定一个置
  • 信息加工是什么?

    2021-07-23 01:44:13
    只有在对信息进行适当处理的基础上,才能产生新的、用以指导决策的有效信息或知识。目录[隐藏] ? 内容? 加工模型? 学习理论? 注意事项? 方式? 方法? 相关词条? 参考资料信息加工-内容学习的信息加工模式一般来说,...
  • 作者丨肖泽东 Shon@知乎来源丨https://zhuanlan.zhihu.com/p/74460341编辑丨目标检测与深度学习编者荐语光流估计是计算机视觉研究中的一个重要方向,然而,...
  • 基于导频的OFDM系统信道估计

    千次阅读 2021-04-22 15:32:17
    信道估计是视线OFDM系统的关键技术之一。主要研究了0FDM无线通信系统中基于导频的信息估计算法——LS算法,MMSE算法以及改进的LS算法,并通过仿真算法的最小均方误差性能和误码率特性证明了改进的LS算法要优于LS算法...
  • 普通最小二乘法理论: 损失函数: 权重计算: 1、对于普通最小二乘的系数估计问题,其依赖于模型各项的相互独立。2、当各项是相关的,且设计矩阵X的各列近似线性相关,那么,设计矩阵会趋向于奇异矩阵,这会导致...
  • 虽然词汇本身很大,预测一个缺失的单词涉及到一些不确定,但是可以生成一个词汇表中所有可能的单词的列表,以及该单词在该位置出现的概率估计。 典型的机器学习系统可以将预测作为一个分类问题来处理,并使用一...
  • 在QbD理念中,关键工艺参数(Critical process parameters, CPPs)贯穿整个制剂...尽管很多朋友对CPPs都不陌生,但能正确识别CPPs并制定合理有效、可行范围的却很少。若错误的选择或遗漏,都将使工艺过程变得无法控
  • 工业蒸汽预测

    2021-05-26 21:51:25
    本文主要介绍阿里云天池大数据平台的学习赛——工业蒸汽预测。文章内容来自《阿里云天池大赛赛题解析》以及我自己的理解。涉及到的技术点包括数据分析、缺失值、异常值的处理、新变量生成、多种数据可视化(KDE、...
  • 作者丨田子宸@知乎(已授权)来源丨https://zhuanlan.zhihu.com/p/411522457编辑丨极市平台导读本文对衡量深度学习模型大小的一些常用指标,如计算参数量...
  • 心率变异及其相关算法的实现,报告内容,概念介绍,基本原理与具体算法,计算结果与结果分析,算法总结,疾病诊查与研究意义,附加功能与参考文献,概念介绍,概念介绍,心率变异(heart rate variability, HRV)是连续...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 40,357
精华内容 16,142
关键字:

参数估计量的有效性是指