精华内容
下载资源
问答
  • 示例原始数据 这部分计算量大,在excel上演练 欢迎指正!!

    示例原始数据

     

     

     

     

     

    这部分计算量大,在excel上演练

     

     欢迎指正!!

     

     

     

    展开全文
  • 继续之前的数据和工作,进行数据的标准化处理,具体数据可从下方博客链接获取 剔除异常值 ...这里采用极差变换: 放代码: import numpy as np import pandas as pd path = "E:/Mo...

    继续之前的数据和工作,进行数据的标准化处理,具体数据可从下方博客链接获取     

    剔除异常值

     

    放下表一和表二Excel的截图

      

     

    大体思路:

    实际问题中,不同数据可能有不同的性质和量纲,为进行模糊聚类,需进行标准化处理。这里采用极差变换:

    x' = \frac{x-min(x)}{max(x)-min(x)}

     

    放代码:

    import numpy as np
    import pandas as pd
    path = "E:/Model_building/A/"
    s2 = pd.read_excel(path+"sheet2.xlsx")
    s1 = pd.read_excel(path+"sheet1.xlsx")    # 导入1、2表
    s1 = pd.DataFrame(s1.values)             # dataframe
    s2 = pd.DataFrame(s2.values)
    s1 = s1.drop([s1.columns[0]], axis=1)    # 去掉0列
    s2 = s2.drop([s2.columns[0]], axis=1)
    
    s1.columns = ['a', 'b', 'c', 'd', 'e']         # 之前作死删掉了列名,感觉还是用列名更方便
    s2.columns = ['1', '2', '3', '4', '5', '6', '7', '8', '9']
    
    s2['1'] = s2['1'].astype('int64')    # 输出发现表2的序号列为float,更改为int
    

    看一下s1和s2的头部输出,其中a,1都为采样点的序号,b,c为xy坐标,d为海拔,e为地区类型,2到9为八种元素在每个采样点的浓度

    s12 = pd.merge(s1, s2, how='inner', left_on='a', right_on='1')   # 将表1、2按照索引,合并为s12
    del s12['1']
    s12.head()

    看一下s12的头部输出 ,这样就明了了

    path = "E:/Model_building/A/"
    ma = s12.groupby(s12['e']).max().iloc[:, 4:12]
    mi = s12.groupby(s12['e']).min().iloc[:, 4:12]     # 按照地区列分组,得出每种元素最大最小值
    s122 = s12.set_index(['a','e'])    # 双重索引   
    print(mi,'\n')
    print(s122.head())
    s122.iloc[:, 3:12] = ( s122.iloc[:, 3:12] - mi )/(ma-mi)   # 极差变换
    s122.to_excel(path+"sheet_standardized.xlsx")

    在进行极差变换时,由于s122和mi相减时,由于s122每种e有多个,所以一直报错 ,如下:

     

     

    不能有重复索引,所以设置一个双重索引(即地区和序号),这样在相减时,自动匹配对应的行(e)和列(元素)

    pathx = "E:/Model_building/A/cumcm2011A附件_数据.xls"
    p = s12.iloc[:,5:].groupby(s12['e']).mean()  # 每个地区每种元素的均值
    print(p)
    s122 = s122.reset_index()   # 取消索引,以便下一步引用‘e’
    p1 = s122.groupby(s122['e']).mean().iloc[:, 5:]   # 每个地区每种元素,经过极差变换后的均值
    print(p1)
    p1.to_excel(path+"sheet1-6.xlsx")   # 保存
    p.to_excel(path+"sheet1-7.xlsx")

    放一下两个表的结果

     

     

     

    展开全文
  • 极差标准化算法详解

    千次阅读 2020-06-05 10:01:46
    极差标准化变化即为: 极差又bai称范围误差或全距,以R表示,是用来表示统计资料中的变异量数,其最大值与最小值之间的差距,即最大值减最小值后所得之数据。 它是标志值变动的最大范围,它是测定标志变动的...

    是经济统计分析中对正负指标标准化的一种处理方法。

                 极差标准化变化即为:

                                    

    极差又称范围误差或全距,以R表示,是用来表示统计资料中的变异量数,其最大值与最小值之间的差距,即最大值减最小值后所得之数据。

                 它是标志值变动的最大范围,它是测定标志变动的最简单的指标。

                    

        

    扩展资料


    极差又称范围误差或全距(Range),以R表示,是用来表示统计资料中的变异量数(measures of variation),其最大值与最小值之间的差距,即最大值减最小值后所得之数据。 

    它是标志值变动的最大范围,它是测定标志变动的最简单的指标。移动极差(Moving Range)是其中的一种。极差不能用作比较,单位不同 ,方差能用作比较, 因为都是个比率。

    最直接也是最简单的方法,即最大值-最小值(也就是极差)来评价一组数据的离散度。这一方法在日常生活中最为常见,比如比赛中去掉最高最低分就是极差的具体应用。极差=最大标志值—最小标志值。

    R=xmax-xmin

    (其中,xmax为最大值,xmin为最小值)

    例如 : 

    这组数的极差就是 :-=9
    它的优点是计算简单,含义直观,运用方便,故在数据统计处理中仍有着相当广泛的应用。 但是,它仅仅取决于两个极端值的水平,不能反映其间的变量分布情况,同时易受极端值的影响。

     

    应用

    在统计中常用极差来刻画一组数据的离散程度,以及反映的是变量分布的变异范围和离散幅度,在总体中任何两个单位的标准值之差都不能超过极差。同时,它能体现一组数据波动的范围。极差越大,离散程度越大,反之,离散程度越小。  

    极差只指明了测定值的最大离散范围,而未能利用全部测量值的信息,不能细致地反映测量值彼此相符合的程度,极差是总体标准偏差的有偏估计值,当乘以校正系数之后,可以作为总体标准偏差的无偏估计值,

    它的优点是计算简单,含义直观,运用方便,故在数据统计处理中仍有着相当广泛的应用。 但是,它仅仅取决于两个极端值的水平,不能反映其间的变量分布情况,同时易受极端值的影响。

     

    展开全文
  • 针对采集到的综采放顶煤开采过程中的放煤振动信号,先在时域内做一阶前向分运算,进行数据预处理,然后再用小波变换分结果进行分析处理,采用模系数构造煤矸振动信号识别规则。将算法移植于煤矸识别传感器...
  • 常用统计算法JAVA实现 - 极差(04)

    千次阅读 2019-01-15 15:58:36
    * * @描述:集中趋势量数:极差(不包含) <br/> * * @方法名: range <br/> * * @param in <br/> * * @return <br/> * * @返回类型 double &...
    /**
    	 * 
    	 *  * @描述:集中趋势量数:极差(不包含) <br/>
    	 *  * @方法名: range <br/>
    	 *  * @param in <br/>
    	 *  * @return <br/>
    	 *  * @返回类型 double <br/>
    	 *  * @创建人 micheal <br/>
    	 *  * @创建时间 2019年1月2日下午10:26:20 <br/>
    	 *  * @修改人 micheal <br/>
    	 *  * @修改时间 2019年1月2日下午10:26:20 <br/>
    	 *  * @修改备注 <br/>
    	 *  * @since <br/ >  * @throws <br/>
    	 *  
    	 */
    	public static double range(double[] in) {
    		if (in == null) {
    			throw new java.lang.NumberFormatException();
    		}
    		double max = Double.MIN_VALUE;
    		double min = Double.MAX_VALUE;
    		for (int i = 0; i < in.length; i++) {
    			max = Math.max(max, in[i]);
    			min = Math.min(min, in[i]);
    		}
    		// return max - min;
    		return Mutil.subtract(max, min);
    	}
    
    	/**
    	 * 
    	 *  * @描述: 变异性量数:极差(包含) <br/>
    	 *  * @方法名: range2 <br/>
    	 *  * @param in <br/>
    	 *  * @return <br/>
    	 *  * @返回类型 double <br/>
    	 *  * @创建人 micheal <br/>
    	 *  * @创建时间 2019年1月2日下午10:26:08 <br/>
    	 *  * @修改人 micheal <br/>
    	 *  * @修改时间 2019年1月2日下午10:26:08 <br/>
    	 *  * @修改备注 <br/>
    	 *  * @since <br/>
    	 *  * @throws <br/>
    	 *  
    	 */
    	public static double range2(double[] in) {
    		if (in == null) {
    			throw new java.lang.NumberFormatException();
    		}
    		double max = Double.MIN_VALUE;
    		double min = Double.MAX_VALUE;
    		for (int i = 0; i < in.length; i++) {
    			max = Math.max(max, in[i]);
    			min = Math.min(min, in[i]);
    		}
    		// return max - min + 1;
    		return Mutil.subtract(max, min) + 1;
    	}

     测试代码,打印结果,包含:50.0 ,不包含:51.0

    double[] in4 = { 98, 86, 77, 56, 48 };
    log.info("计算[极差]:" + range(in4));
    log.info("计算[极差]2:" + range2(in4));

     

    展开全文
  • 极差归一化

    千次阅读 2017-08-29 16:42:07
    极差归一化
  • 目录 数据变换的目的 数据变换的七种常见方式 初值化变换 均值化变换 百分比变换 倍数变换 归一化变换 极差最大值化变换 区间值化变换 1. matlab ...
  • 将传统散斑相关应用于结构试件变形测量中存在一定的角位移范围限制, 针对这一问题, 提出了一种采用对数坐标变换的散斑相关角位移测量。首先, 该方法采用对数坐标变换, 将结构试件散斑图像在直角坐标系下的角...
  • 浅谈傅里叶变换、小波变换、HHT变换

    千次阅读 多人点赞 2019-08-29 12:18:42
    浅谈傅里叶变换、小波变换、HHT变换一、傅里叶变换1.1傅里叶变换介绍二、小波变换2.1小波变换正反变换公式2.2小波变换适应场景及其优缺点2.3小波变换的应用三、HHT变换3.1HHT产生的背景3.1 HHT变换介绍3.2 HHT对信号...
  • 演绎了新式步长设置的坐标系傍轴有限分光束传播(FD-BPM)理论,提出一种变换极坐标系FD-BPM思想,使精度更高,计算和分析更简便。基于这些工作,对严格圆弧形二维波导的传输特性进行了综合分析,指出光波在具有相同...
  • 通过选取合适的小波基函数,利用小波变换对采样得到的流进行一次或二次小波变换,再提取小波变换系数的局部模大值符号,利用定义的符号识别公式即可区分对称性涌流、非对称性涌流以及内部故障电流,还能鉴别出励磁...
  • 超详细SPSS主成分分析计算指标权重(一)

    万次阅读 多人点赞 2019-03-13 20:58:51
    相信很多写过或者正在写指标处理类论文的朋友都曾对如何计算指标权重充满困惑,到底是用熵值,还是主成分分析?或者其他各种看起来奥妙无穷却难以上手操作的神奇方法?好不容易确定要选用主成分分析时又开始...
  • 一、简介 1 设计原理 1.1 滤波器概念 ...%%利用双线性变换法设计一个Chebyshev I型数字高通滤波器 %确定已知的技术指标 Rp=1.2;Rs=20;T=0.001;fp=300;fs=200; %求出将要设计的数字滤波器的边界频率 wp=2*pi*f
  • 再看看我前面拿笔的那两张图,右边的图之所以降维效果,是因为我们选择的角度把蓝色水笔重要的维度给丢弃了。 还可以通过下面的例子来理解 PCA 降维的思想。 整数 125 125 1 2 5 可以有以下两种分解方式: ...
  • matlab人脸识别论文

    万次阅读 多人点赞 2019-10-11 17:41:51
    该系统首先利用离散小波变换获取包含人脸图像大部分原始信息的低频分量,对图像数据进行降维;再由PCA算法对人脸图像进行主成分特征提取,进--步降低图像数据的处理量;最后使用经过训练后的BP神经网络对待测人脸进行...
  • 图像分割综述

    万次阅读 多人点赞 2019-07-09 22:03:48
    通过检测小波变换大值点可以确定图像的边缘小波变换位于各个尺度上,而每个尺度上的小波变换都能提供一定的边缘信息,因此可进行多尺度边缘检测来得到比较理想的图像边缘。 上图左图是传统的阈值分割方法,...
  • 模糊PID算法及其MATLAB仿真(1)

    万次阅读 多人点赞 2019-04-15 20:34:35
    另外,在模糊论域的选取过程中,我们常看到的是(-6,6)这样的区间,其实这并不重要,你如果想把自己的数据套用到这个算法里面,就可以做一下线性变换,把你的论域映射到这个区间。 3、模糊PID简介 模糊PID其实有...
  • MATLAB数据拟合

    千次阅读 2019-11-22 11:55:27
    数据变换-极差标准化(归一化) 5:09 14. 数据变换-几种变换的比较 10:06 第二章:数据拟合的一般操作 1. 使用拟合工具进行数据拟合-曲线拟合 9:39 2. 使用拟合工具进行数据拟合-曲面拟合 4:09 3. 使用fit...
  • 写在最前面:本文是我阅读了多篇相关文章后对它们进行分析重组整合而得,绝大部分...关于傅立叶变换,无论是书本还是在网上可以很容易找到关于傅立叶变换的描述,但是大都是些故弄玄虚的文章,太过抽象,尽是一些让
  • 1、 图像分,就是把两幅图像的对应像素值相减,以削弱图像的相似部分,突出显示图像的变化部分。【原理都是共通的,这个也是比较简单的变化检测方法】 2、梯度 Canny\Sobel算子等,他们是里面...
  • C#基础教程-c#实例教程,适合初学者

    万次阅读 多人点赞 2016-08-22 11:13:24
    C#中抛弃了C和C++中繁杂且易出错的操作符象::和->等,C#中的复合名字一律通过.来连接。System是.Net平台框架提供的最基本的名字空间之一,有关名字空间的详细使用方法将在以后详细介绍,这里只要学会怎样导入名字...
  • 基于MATLAB的语音信号处理

    万次阅读 多人点赞 2018-07-15 01:21:20
    具体振值用舍入归到靠近的量化电平上。  语音信号经过预滤波和采样后,由A/D变换变换为二进制数字码。这种防混叠滤波通常与模数转换器做在一个集成块内,因此目前来说,语音信号的数字化的质量还是有保证的。...
  • 天线基础与HFSS天线设计流程

    万次阅读 多人点赞 2019-04-28 15:10:10
    目录 天线基础 1.1 电基本振子的辐射场 ...7. 天线的化 HFSS天线设计流程 2.1 HFSS天线设计流程概述 1.设置求解类型 2.创建天线的结构模型 3.设置边界条件【Assign Boundary】 4. 设...
  • 有限与有限单元的区别

    千次阅读 2020-03-22 19:55:36
    有限(FDM)是计算机数值模拟最早采用的方法,至今仍被广泛运用。该方法将求解域划分为分网格,用有限个网格节点代替连续的求解域。有限以Taylor级数展开等方法,把控制方程中的导数用网格节点上的函...
  • 手势识别 技术

    万次阅读 多人点赞 2019-04-19 16:02:27
    基于运动信息的检测分割主要包括光流。光流不需要预先获取图像背景来表示复杂环境下的手势运动,但要求背景图像保持静止,对光照要求较高。 Hackenberg G, McCall R, Broll W. Lightweight palm and ...
  • 数据预处理(三)数据变换

    万次阅读 2018-11-27 10:24:12
    文章目录数据变换一、特征二值化二、特征归一化(一)、总和标准化(二)、标准差标准化(三)、极大值标准化(四)、极差标准化(区间放缩,0-1标准化)三、连续特征变换四、定性特征哑编码:One-hot编码 ...
  • 图像边缘检测的关键是在尽量多检测到边缘的同时更有效地抑制噪声,为此提出了一种融合小波变换和形态学分算法的边缘检测方法。将源图像进行小波分解,高频分量利用小波模大值算法进行边缘检测,可有效提取高频...
  • 三帧1. 什么是三帧 原理,请点击下面的连接,进行了解: 三帧  说的通俗一点,这个流程就是: 1.1 结果1 = (第二幅图像 - 第一幅图像) ∩ (第三幅图像 - 第二幅图像)  1.2 结果2 = 滤波...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 18,431
精华内容 7,372
关键字:

极差变换法