精华内容
下载资源
问答
  • Python求均值,方差,标准

    万次阅读 多人点赞 2018-09-28 00:15:46
    import numpy as np arr = [1,2,3,4,5,6] #求均值 arr_mean = np.mean(arr) #求方差 arr_var = np.var(arr) #求标准差 arr_std = np.std(arr,ddof=1) print("平均值为:%f"...标准差为:%f...
    import numpy as np 
    arr = [1,2,3,4,5,6]
    
    # 求均值
    arr_mean = np.mean(arr)
    
    # 求方差
    arr_var = np.var(arr)
    
    # 求总体标准差
    arr_std_1 = np.std(arr)
    
    # 求样本标准差
    arr_std_2 = np.std(arr, ddof=1)
    
    print("平均值为:%f" % arr_mean)
    print("方差为:%f" % arr_var)
    print("总体标准差为: %f" % arr_std_1)
    print("样本标准差为: %f" % arr_std_2)

    总体标准差和样本标准差区分总体标准差、样本标准差与标准误

    展开全文
  • 数据标准化/归一化normalization

    万次阅读 多人点赞 2016-08-19 09:42:40
    基础知识参考: [均值、方差与协方差矩阵] [矩阵论:向量范数和矩阵范数] 数据的标准化(normalization)和归一化 数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间。在某些比较和评价...

    http://blog.csdn.net/pipisorry/article/details/52247379

    这里主要讲连续型特征归一化的常用方法。

    连续型特征还有一种处理方式是,先分桶/分箱(如等频/等距的分)[待写]进行离散化后再使用离散数据的处理方法。

    离散数据处理参考[数据预处理:独热编码(One-Hot Encoding)]。

    基础知识参考:

    [均值、方差与协方差矩阵]

    [矩阵论:向量范数和矩阵范数]

    数据的标准化(normalization)和归一化

        数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。

        目前数据标准化方法有多种&#

    展开全文
  • Python基础:标准库和常用的第三方库

    万次阅读 多人点赞 2019-05-04 18:24:13
    Python的标准库有: 名称 作用 datetime 为日期和时间处理同时提供了简单和复杂的方法。 zlib 直接支持通用的数据打包和压缩格式:zlib,gzip,bz2,zipfile,以及tarfile。 random 提供了生成...

    Python的标准库有:

    名称作用
    datetime为日期和时间处理同时提供了简单和复杂的方法
    zlib直接支持通用的数据打包和压缩格式:zlib,gzip,bz2,zipfile,以及 tarfile
    random提供了生成随机数的工具
    math为浮点运算提供了对底层C函数库的访问
    sys工具脚本经常调用命令行参数。这些命令行参数以链表形式存储于 sys 模块的 argv 变量
    glob提供了一个函数用于从目录通配符搜索中生成文件列表
    os提供了不少与操作系统相关联的函数

    Python常用的第三方库有:

    名称作用使用参考
    Scrapy爬虫工具常用的库Python爬虫之Scrapy环境搭建_简言-CSDN博客
    Requestshttp库python做接口测试或者爬数据常用
    Pillow是PIL(Python图形库)的一个分支。适用于在图形领域工作的人Python实现图像处理:PiL依赖库的应用_简言-CSDN博客
    matplotlib绘制数据图的库。对于数据科学家或分析师非常有用
    OpenCV图片识别常用的库,通常在练习人脸识别时会用到OpenCV的作用及安装_简言-CSDN博客_opencv的作用
    pytesseract图片文字识别,即OCR识别Python实现OCR识别:pytesseract_简言-CSDN博客
    jira操作jira,查询Jira信息,操作jiraPython查询Jira issue信息_简言-CSDN博客

    python-jenkins

    操作jenkinsPython实现jenkins操作和批量部署_简言-CSDN博客
    python-gitlab查询gitlab信息使用gitpython和python-gitlab操作git_简言-CSDN博客
    wxPythonPython的一个GUI(图形用户界面)工具
    Twisted对于网络应用开发者最重要的工具
    SymPySymPy可以做代数评测、差异化、扩展、复数等等
    SQLAlchemy数据库的库
    SciPyPython的算法和数学工具库
    Scapy数据包探测和分析库
    pywin32提供和windows交互的方法和类的Python库
    pyQTPython的GUI工具。给Python脚本开发用户界面时次于wxPython的选择
    pyGtk也是Python GUI库
    Pyglet3D动画和游戏开发引擎
    Pygame开发2D游戏的时候使用会有很好的效果
    NumPy为Python提供了很多高级的数学方法
    nosePython的测试框架
    nltk自然语言工具包
    IPythonPython的提示信息。包括完成信息、历史信息、shell功能,以及其他很多很多方面
    BeautifulSoupxml和html的解析库,对于新手非常有用

    标准库用法参考示例:

    datetime库:

    为日期和时间处理同时提供方法。

    from datetime import date
    #导入时间库
    now=date.today()
    #取当前时间
    print(now)
    birthday=date(1987,12,3)
    print(birthday)
    age=now-birthday
    #假设年龄=当前日期-生日日期
    print(age)

    运行结果为:

    2019-05-04
    1987-12-03
    11475 days, 0:00:00

    zlib库:

    提供压缩和解压的功能。

    import zlib
    m = b'This is a test compress'
    print(m)
    m1=len(m)
    #查看字符串的长度
    print(m1)
    t = zlib.compress(m)
    #假设压缩后的内容为t
    t1=len(t)
    #查看压缩后内容t的长度
    print(t)
    print(t1)
    s = zlib.decompress(t)
    #解压缩后的内容为s
    print(s)
    

    运行结果为:

    b'This is a test compress'
    23
    b'x\x9c\x0b\xc9\xc8,V\x00\xa2D\x85\x92\xd4\xe2\x12\x85\xe4\xfc\xdc\x82\xa2\xd4\xe2b\x00ah\x08\x82'
    29
    b'This is a test compress'

    sys库:

    调用命令行参数,经常使用sys.path来查看python及系统的依赖库包安装路径。

    import sys
    a=sys.path
    #假设系统路径为a
    print(a)

    运行结果为:

    ['/Users/alice/PycharmProjects/untitled', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/nose-1.3.7-py2.7.egg', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/tornado-5.0.2-py2.7-macosx-10.13-intel.egg', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/backports_abc-0.5-py2.7.egg', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/singledispatch-3.4.0.3-py2.7.egg', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/futures-3.2.0-py2.7.egg', '/Users/alice/PycharmProjects/untitled', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python37.zip', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/lib-dynload', '/Users/alice/venv/untitled/lib/python3.7/site-packages', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages', '/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python', '/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/PyObjC']
     

    展开全文
  • 方差、协方差、标准差(标准偏差/均方差)、均方误差、均方根误差(标准误差)、均方根值 本文由博主经过查阅网上资料整理总结后编写,如存在错误或不恰当之处请留言以便更正,内容仅供大家参考学习。 方差...

      方差、协方差、标准差(标准偏差/均方差)、均方误差、均方根误差(标准误差)、均方根值

    本文由博主经过查阅网上资料整理总结后编写,如存在错误或不恰当之处请留言以便更正,内容仅供大家参考学习。


    • 方差(Variance)

           方差用于衡量随机变量或一组数据的离散程度,方差在在统计描述和概率分布中有不同的定义和计算公式。①概率论中方差用来度量随机变量和其数学期望(即均值)之间的偏离程度;②统计中的方差(样本方差)是每个样本值与全体样本均值之差的平方值的平均数,代表每个变量与总体均值间的离散程度。

    概率论中计算公式

    离散型随机变量的数学期望: 

                                                                                                                 ---------求取期望值

    连续型随机变量的数学期望:

                                                                                                          ----------求取期望值

    其中,pi是变量,xi发生的概率,f(x)是概率密度。

                                                          ---------求取方差值

     

    统计学中计算公式

     总体方差也叫做有偏估计,其实就是我们从初高中就学到的那个标准定义的方差:

                                                                                                    -----------求取总体均值

    其中,n表示这组数据个数,x1、x2、x3……xn表示这组数据具体数值。

                                                        ------------求取总体方差

    其中,\bar{X}为数据的平均数,n为数据的个数,s^{2}为方差。

    样本方差,无偏方差,在实际情况中,总体均值\bar{X}是很难得到的,往往通过抽样来计算,于是有样本方差,计算公式如下

                                                        --------------求取样本方差           

    此处,为什么要将分母由n变成n-1,主要是为了实现无偏估计减小误差,请阅读《为什么样本方差的分母是 n-1》。    

    • 协方差(Covariance

          协方差概率论统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况,即当两个变量是相同的情况。协方差表示的是两个变量的总体的误差,这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值,另外一个也大于自身的期望值,那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反,即其中一个大于自身的期望值,另外一个却小于自身的期望值,那么两个变量之间的协方差就是负值。

    formula

    formula

    其中,E[X]与E[Y]分别为两个实数随机变量X与Y的数学期望,Cov(X,Y)为X,Y的协方差。

    •  标准差(Standard Deviation)

           标准差也被称为标准偏差,在中文环境中又常称均方差,是数据偏离均值的平方和平均后的方根,用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度,只是由于方差出现了平方项造成量的倍数变化,无法直观反映出偏离程度,于是出现了标准差,标准偏差越小,这些值偏离平均值就越少,反之亦然。

     

                                                                                                   ------------求取样本标准差

    其中,  代表所采用的样本X1,X2,...,Xn的均值。

                                                                                                     -------------求取总体标准差

     其中, 代表总体X的均值。

    :有一组数字分别是200、50、100、200,求它们的样本标准偏差。

    = (200+50+100+200)/4 = 550/4 = 137.5

    = [(200-137.5)^2+(50-137.5)^2+(100-137.5)^2+(200-137.5)^2]/(4-1)

    样本标准偏差 S = Sqrt(S^2)=75

    • 均方误差(mean-square error, MSE

           均方误差是反映估计量与被估计量之间差异程度的一种度量,换句话说,参数估计值与参数真值之差的平方的期望值。MSE可以评价数据的变化程度,MSE的值越小,说明预测模型描述实验数据具有更好的精确度。

    • 均方根误差(root mean squared error,RMSE

          均方根误差亦称标准误差,是均方误差的算术平方根。换句话说,是观测值与真值(或模拟值)偏差(而不是观测值与其平均值之间的偏差)的平方与观测次数n比值的平方根,在实际测量中,观测次数n总是有限的,真值只能用最可信赖(最佳)值来代替。标准误差对一组测量中的特大或特小误差反映非常敏感,所以,标准误差能够很好地反映出测量的精密度。这正是标准误差在工程测量中广泛被采用的原因。因此,标准差是用来衡量一组数自身的离散程度,而均方根误差是用来衡量观测值同真值之间的偏差。

    • 均方根值(root-mean-square,RMES

           均方根值也称作为方均根值有效值在数据统计分析中,将所有值平方求和,求其均值,再开平方,就得到均方根值。在物理学中,我们常用均方根值来分析噪声。

            比如幅度为100V而占空比为0.5的方波信号,如果按平均值计算,它的电压只有50V,而按均方根值计算则有70.71V。这是为什么呢?举一个例子,有一组100伏的电池组,每次供电10分钟之后停10分钟,也就是说占空比为一半。如果这组电池带动的是10Ω电阻,供电的10分钟产生10A 的电流和1000W的功率,停电时电流和功率为零。

    展开全文
  • 普通正态分布如何转换到标准正态分布

    万次阅读 多人点赞 2019-01-13 22:32:16
    1.普通正态分布转换标准正态分布公式 我们知道正态分布是由两个参数μ\muμ与σ\sigmaσ确定的。对于任意一个服从N(μ,σ2)N(\mu, \sigma^2)N(μ,σ2)分布的随机变量XXX,经过下面的变换以后都可以转化为μ=0,σ=1\...
  • python标准库6张思维导图学明白

    万次阅读 多人点赞 2020-11-13 08:45:08
    先呈上高清下载地址链接:https://pan.baidu.com/s/14x2Cno96vp67qPz0Ee4weA提取码:7j7g1、标准库概览标准库包含:数据库处理,输入输出存储...
  • 标准误/标准误和标准差的区别

    万次阅读 2019-10-25 13:40:00
    标准误概念:即样本均数的标准差,可用于衡量抽样误差的大小。 通常σ未知,用s(标准差)来估计,计算标准误: ----> 通过增加样本含量n来降低抽样误差。 标准误的特点: 当样本例数n一定时,标准误与...
  • WLAN基本知识之802.11标准

    万次阅读 多人点赞 2021-06-13 22:06:47
    文章目录WLAN技术基础1.4 802.11标准介绍1.4.1 IEEE 802.11协议族成员1.4.2 IEEE 802.11标准与WiFi的世代1.4.3 802.11a/b/g差异1.4.4 802.11n1.4.5 802.11n关键技术1.4.6 IEEE 802.11ac标准1.4.7 IEEE 802.ax标准...
  • 标准输入,标准输出和标准错误

    千次阅读 2019-03-19 17:48:04
    当我们使用文件描述符进行操作时,需要操作标准输入、标准输出、标准错误,可以包含如下头文件: #include <unistd.h> 这个头文件中定义了标准设备: /* Standard file descriptors. */ #define STDIN_FILENO...
  • Web标准

    千次阅读 2021-09-01 18:48:53
    Web 标准也称网页标准,它由一系列标准组成,这些标准大部分由 W3C 负责制订,也有一些标准由其他标准组织制定的,如 ECMA 的 ECMAScript 标准等。 狭义的 Web 标准是指网页设计的 DIV+CSS 化,广义的 Web 标准是指...
  • 归一化 标准化比较

    万次阅读 2018-01-08 23:26:06
    归一化(标准化)两种常用方法 数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据...
  • 标准误差和标准偏差

    万次阅读 2019-08-13 15:39:28
    标准偏差和标准误差是统计学中的两个变异性估计量。两者只有一字之差,但是所表示的估计含义却很不同。 首先,从英文名字来讲,标准偏差是standard deviation,deviation有“离差”的意思,标准偏差表征的是数据的...
  • 如何理解总体标准差、样本标准差与标准误 1 总体标准差 已知随机变量 XXX 的数学期望为 μ\muμ,标准差为 σ\sigmaσ,则其方差为: σ2=E[(X−μ)2] \sigma^2=E[(X-\mu)^2] σ2=E[(X−μ)2]此处 σ\sigmaσ 即为...
  • 1、标准差是对一次抽样的原始数据进行计算的,而标准误则是对多次抽样的样本统计量进行计算的(这个统计量可以是均值); 2、标准差只是一个描述性指标,只是描述原始数据的波动情况,而标准误是跟统计推断有关的...
  • python 计算均值、方差、标准差 Numpy,Pandas

    万次阅读 多人点赞 2019-10-23 22:58:25
    Numpy 计算均值、方差、标准差2. Pandas 计算均值、方差、标准差 Python 中的 numpy 包 和 pandas 包都能够计算均值、方差等,本文总结一下它们的用法。 1. Numpy 计算均值、方差、标准差 一般的均值可以用 numpy ...
  • 前方危险:MySQL UPDATE 语句的非标准实现

    万次阅读 多人点赞 2020-11-27 17:35:59
    本文介绍了 MySQL 数据库中 UPDATE 语句和 SQL 标准(以及其他数据库)实现上的一个差异。对于 MySQL 而言,如果 UPDATE 语句在表达式中使用了前面被更新的字段,将会使用该字段被更新后的值而不是原来的值。
  • 标准差 对于前面例子的数据 [1,2,5,8,9],求出来的方差是10,但是这个方差值是否说明这一组数据非常离散呢?由于方差的单位和原始数据的单位不一样,如果原始数据的单位是m,那么方差的单位就是m^2,这样比较没多大...
  • 标准文件免费下载】国家标准和行业标准 良心网站推荐 一、写在前面的话 二、 良心网站推荐,是重点啦! 其它几个下载标准的网站: 查询标准过期/现行/废止状态 网站: 三、小啊呜有话说
  • C++ STL标准模板库-优秀的C++标准

    千人学习 2018-08-23 00:45:49
    STL是Standard Template Library的简称,中文名标准模板库,是由Alexander Stepanov、Meng Lee和David R Musser在惠普实验室开发的 ,是一个具有工业强度的,高效的C++库,STL早已是ANSI/ISO C++标准中的一部分。...
  • 1,标准差的计算 2,标准分数z-score

    万次阅读 2017-01-26 20:53:48
    1,标准差的计算 2,标准分数z-score 摘自网络 “标准差”(standard deviation)也称“标准偏差”,它可以通过计算方差的算术平方根来求得。标准差表征了各数据偏离平均值的距离,它反映出一个数据集的离散程度。 ...
  • 什么是标准输入、标准输出(stdin、stdout)?

    万次阅读 多人点赞 2019-06-12 10:49:23
    原文地址:什么是标准输入、标准输出(stdin、stdout)? 要弄清什么是标准输入输出。首先需要弄懂什么是IO。 IO的I是Input的意思,O是output的意思。 意味着输入和输出。 更确切的含义是: I:从外部设备输入到内存 O:...
  • 数据的标准化: 将数据按比例缩放,使之落入一个小的特定区间,一般目的在于:去除数据的单位限制,转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。数据的归一化便是一个典型的案例。 数据的...
  • 总体标准差-样本标准

    万次阅读 2019-03-19 15:18:46
    总体标准差和样本标准差公式: 解释: 1,求一组数据的标准差,该组数据就是总体,此时是求总体标准差,公式中分母为n; 2,总体太大或未知,只能每次抽取样本,此时是求样本标准差,分母为n-1。 图片来源:...
  • 2018.1.19 HAL库详解见STM32之HAL库...到目前为止,有标准外设库(STD库)、HAL库、LL库 三种。前两者都是常用的库,后面的LL库是ST最近才添加,随HAL源码包一起提供,目前支持的芯片也偏少。各库如下所示:   其
  • EMC相关标准

    万次阅读 多人点赞 2018-07-22 14:24:09
    0.1、按区域来分:EMC标准主要分为国际标准(IEC)、欧盟标准(EN)、中国国家标准(GB/T)等; 0.2、在国内:EMC标准主要分为国家标准、行业标准(例如:能源局)、企业标准(例如:国家电网)等; 0.3、EMC标准的...
  • 上一节我们利用SPSS中的数据标准化方法及主成分分析法,得出了“解释的总方差”和“成分矩阵”(如下图) 接下来我们将利用主成分分析得出的数据计算指标权重 2、权重计算 (1)输入数据 将主成分分析中得出的“成分...
  • 数据标准化【0~1标准化和Z标准化】

    千次阅读 2020-05-29 15:37:58
    数据标准化 一、Z标准化 经过处理后,数据的均值为0,标准差为1。 二、0~1标准化 1.自定义函数: """ 1.0~1标准化:也称离差标准化,它是对原始数据进行线性变换, 使结果落到 [0,1] 区间. X=(x - min)/(max -...
  • Frobenius标准型与Jordan标准型总结

    千次阅读 2019-05-09 02:33:11
    Jordan标准型,可以形式化理解为把Frobenius标准型中的d(λ)继续分解,进而细化到一次因式的乘机,因此Frobenius标准型为任意数域,Jordan标准型为复数域 2.小块性质 Frobenius块性质: 行列式因子:1….1, d(λ...
  • 标准正态分布公式

    万次阅读 2020-06-22 16:48:51
    标准正态分布公式
  • 软件工程国家标准

    万次阅读 2018-03-09 17:35:55
    1、标准化基础知识 1.1、标准的层次 国际标准 国家标准 行业标准 地方标准 企业标准 1.2、标准的类型 强制性标准 推荐性标准 1.3、标准的表示 表1国家标准代号 序号 代号 含义 1 GB 中华...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,476,372
精华内容 1,790,548
关键字:

标准