import numpy as np 
arr = [1,2,3,4,5,6]

# 求均值
arr_mean = np.mean(arr)

# 求方差
arr_var = np.var(arr)

# 求总体标准差
arr_std_1 = np.std(arr)

# 求样本标准差
arr_std_2 = np.std(arr, ddof=1)

print("平均值为：%f" % arr_mean)
print("方差为：%f" % arr_var)
print("总体标准差为: %f" % arr_std_1)
print("样本标准差为: %f" % arr_std_2)
 
总体标准差和样本标准差、区分总体标准差、样本标准差与标准误

http://blog.csdn.net/pipisorry/article/details/52247379
 
这里主要讲连续型特征归一化的常用方法。
 
连续型特征还有一种处理方式是，先分桶/分箱（如等频/等距的分）[待写]进行离散化后再使用离散数据的处理方法。
 
离散数据处理参考[数据预处理：独热编码（One-Hot Encoding）]。
 
基础知识参考：
 
[均值、方差与协方差矩阵]
 
[矩阵论：向量范数和矩阵范数]
 
数据的标准化（normalization）和归一化
 
    数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。
 
    目前数据标准化方法有多种&#

Python的标准库有：
 
名称
作用
datetime
为日期和时间处理同时提供了简单和复杂的方法
zlib
直接支持通用的数据打包和压缩格式：zlib，gzip，bz2，zipfile，以及 tarfile
random
提供了生成随机数的工具
math
为浮点运算提供了对底层C函数库的访问
sys
工具脚本经常调用命令行参数。这些命令行参数以链表形式存储于 sys 模块的 argv 变量
glob
提供了一个函数用于从目录通配符搜索中生成文件列表
os
提供了不少与操作系统相关联的函数
Python常用的第三方库有：
 
名称
作用
使用参考
Scrapy
爬虫工具常用的库
Python爬虫之Scrapy环境搭建_简言-CSDN博客
Requests
http库
python做接口测试或者爬数据常用
Pillow
是PIL（Python图形库）的一个分支。适用于在图形领域工作的人
Python实现图像处理：PiL依赖库的应用_简言-CSDN博客
matplotlib
绘制数据图的库。对于数据科学家或分析师非常有用
OpenCV
图片识别常用的库，通常在练习人脸识别时会用到
OpenCV的作用及安装_简言-CSDN博客_opencv的作用
pytesseract
图片文字识别，即OCR识别
Python实现OCR识别：pytesseract_简言-CSDN博客
jira
操作jira，查询Jira信息，操作jira
Python查询Jira issue信息_简言-CSDN博客
 
python-jenkins
 
操作jenkins
Python实现jenkins操作和批量部署_简言-CSDN博客
python-gitlab
查询gitlab信息
使用gitpython和python-gitlab操作git_简言-CSDN博客
wxPython
Python的一个GUI（图形用户界面）工具
Twisted
对于网络应用开发者最重要的工具
SymPy
SymPy可以做代数评测、差异化、扩展、复数等等
SQLAlchemy
数据库的库
SciPy
Python的算法和数学工具库
Scapy
数据包探测和分析库
pywin32
提供和windows交互的方法和类的Python库
pyQT
Python的GUI工具。给Python脚本开发用户界面时次于wxPython的选择
pyGtk
也是Python GUI库
Pyglet
3D动画和游戏开发引擎
Pygame
开发2D游戏的时候使用会有很好的效果
NumPy
为Python提供了很多高级的数学方法
nose
Python的测试框架
nltk
自然语言工具包
IPython
Python的提示信息。包括完成信息、历史信息、shell功能，以及其他很多很多方面
BeautifulSoup
xml和html的解析库，对于新手非常有用

 
标准库用法参考示例：
 
datetime库：
 
为日期和时间处理同时提供方法。
 
from datetime import date
#导入时间库
now=date.today()
#取当前时间
print(now)
birthday=date(1987,12,3)
print(birthday)
age=now-birthday
#假设年龄=当前日期-生日日期
print(age)
 
运行结果为：
 
 
 
2019-05-04
 1987-12-03
 11475 days, 0:00:00
 
 
zlib库：
 
提供压缩和解压的功能。
 
import zlib
m = b'This is a test compress'
print(m)
m1=len(m)
#查看字符串的长度
print(m1)
t = zlib.compress(m)
#假设压缩后的内容为t
t1=len(t)
#查看压缩后内容t的长度
print(t)
print(t1)
s = zlib.decompress(t)
#解压缩后的内容为s
print(s)
 
运行结果为：
 
 
 
b'This is a test compress'
 23
 b'x\x9c\x0b\xc9\xc8,V\x00\xa2D\x85\x92\xd4\xe2\x12\x85\xe4\xfc\xdc\x82\xa2\xd4\xe2b\x00ah\x08\x82'
 29
 b'This is a test compress'
 
 
sys库：
 
调用命令行参数，经常使用sys.path来查看python及系统的依赖库包安装路径。
 
import sys
a=sys.path
#假设系统路径为a
print(a)
 
运行结果为：
 
 
 
['/Users/alice/PycharmProjects/untitled', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/nose-1.3.7-py2.7.egg', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/tornado-5.0.2-py2.7-macosx-10.13-intel.egg', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/backports_abc-0.5-py2.7.egg', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/singledispatch-3.4.0.3-py2.7.egg', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/futures-3.2.0-py2.7.egg', '/Users/alice/PycharmProjects/untitled', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python37.zip', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/lib-dynload', '/Users/alice/venv/untitled/lib/python3.7/site-packages', '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages', '/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python', '/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/PyObjC']
  
 

  方差、协方差、标准差(标准偏差/均方差）、均方误差、均方根误差(标准误差)、均方根值
 
本文由博主经过查阅网上资料整理总结后编写，如存在错误或不恰当之处请留言以便更正，内容仅供大家参考学习。
 

 
方差（Variance)
 
       方差用于衡量随机变量或一组数据的离散程度，方差在在统计描述和概率分布中有不同的定义和计算公式。①概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度；②统计中的方差(样本方差)是每个样本值与全体样本均值之差的平方值的平均数，代表每个变量与总体均值间的离散程度。
 
概率论中计算公式
 
离散型随机变量的数学期望： 
 
                                                                                                             ---------求取期望值
 
连续型随机变量的数学期望：
 
                                                                                                      ----------求取期望值
 
其中，pi是变量，xi发生的概率，f(x)是概率密度。
 
                                                      ---------求取方差值
 
 
 
统计学中计算公式
 
 总体方差，也叫做有偏估计，其实就是我们从初高中就学到的那个标准定义的方差：
 
                                                                                                -----------求取总体均值
 
其中，n表示这组数据个数，x1、x2、x3……xn表示这组数据具体数值。
 
                                                    ------------求取总体方差
 
其中，为数据的平均数，n为数据的个数，为方差。
 
样本方差，无偏方差，在实际情况中，总体均值是很难得到的，往往通过抽样来计算，于是有样本方差，计算公式如下
 
                                                    --------------求取样本方差           
 
此处，为什么要将分母由n变成n-1，主要是为了实现无偏估计减小误差，请阅读《为什么样本方差的分母是 n-1》。    
 
 
协方差（Covariance）
 
      协方差在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。
 
 
 
 
其中，E[X]与E[Y]分别为两个实数随机变量X与Y的数学期望，Cov(X,Y)为X，Y的协方差。
 
 
 标准差（Standard Deviation)
 
       标准差也被称为标准偏差,在中文环境中又常称均方差，是数据偏离均值的平方和平均后的方根，用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度，只是由于方差出现了平方项造成量纲的倍数变化，无法直观反映出偏离程度，于是出现了标准差，标准偏差越小，这些值偏离平均值就越少，反之亦然。
 
 
 
                                                                                               ------------求取样本标准差
 
其中，  代表所采用的样本X1,X2,...,Xn的均值。
 
                                                                                                 -------------求取总体标准差
 
 其中， 代表总体X的均值。
 
例：有一组数字分别是200、50、100、200，求它们的样本标准偏差。
 
= (200+50+100+200)/4 = 550/4 = 137.5
 
= [(200-137.5)^2+(50-137.5)^2+(100-137.5)^2+(200-137.5)^2]/(4-1)
 
样本标准偏差 S = Sqrt(S^2)=75
 
 
均方误差（mean-square error, MSE）
 
       均方误差是反映估计量与被估计量之间差异程度的一种度量，换句话说，参数估计值与参数真值之差的平方的期望值。MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。
 
 
 
均方根误差（root mean squared error，RMSE）
 
      均方根误差亦称标准误差，是均方误差的算术平方根。换句话说，是观测值与真值(或模拟值)偏差(而不是观测值与其平均值之间的偏差)的平方与观测次数n比值的平方根，在实际测量中，观测次数n总是有限的，真值只能用最可信赖（最佳）值来代替。标准误差对一组测量中的特大或特小误差反映非常敏感，所以，标准误差能够很好地反映出测量的精密度。这正是标准误差在工程测量中广泛被采用的原因。因此，标准差是用来衡量一组数自身的离散程度，而均方根误差是用来衡量观测值同真值之间的偏差。
 
 
 
均方根值（root-mean-square，RMES）
 
       均方根值也称作为方均根值或有效值，在数据统计分析中，将所有值平方求和，求其均值，再开平方，就得到均方根值。在物理学中，我们常用均方根值来分析噪声。
 
 
        比如幅度为100V而占空比为0.5的方波信号，如果按平均值计算，它的电压只有50V，而按均方根值计算则有70.71V。这是为什么呢？举一个例子，有一组100伏的电池组，每次供电10分钟之后停10分钟，也就是说占空比为一半。如果这组电池带动的是10Ω电阻，供电的10分钟产生10A 的电流和1000W的功率，停电时电流和功率为零。