精华内容
下载资源
问答
  • #资源达人分享计划#
  • #资源达人分享计划#
  • #资源达人分享计划#
  • #资源达人分享计划#
  • MATLAB在大学物理实验常用数据处理中的应用
  • MATLAB在大学物理实验常用数据处理中的应用.pdf
  • #资源达人分享计划#
  • 常用数据分析与处理方法 列表法 图示法 最小二乘法拟合经验方程 逐差法 实验结果的表示 列表法 列表法没有统一的格式 设计表格要求能充分反映列表法的优点初学者要注意 (1)栏目要注明名称和单位 (2)栏目的顺序应注意...
  • #资源达人分享计划#
  • TensorFlow数据处理方法

    千次阅读 2017-02-27 20:22:04
    数据对于深度学习算法十分关键,数据集的大小影响着模型的精度和泛化能力,好的数据处理技巧锦上添花,而合适的数据输入输出方法使Tensor“流动”得更加顺畅更好的发挥机器的性能,为模型的训练节约时间。...

    学习深度学习一年多了,一个感觉是实验结果的好坏在很大程度上取决于数据;数据对于深度学习算法十分关键,数据集的大小影响着模型的精度和泛化能力,好的数据处理技巧锦上添花,而合适的数据输入输出方法使Tensor“流动”得更加顺畅更好的发挥机器的性能,为模型的训练节约时间。许多情况下,对于数据的处理花的时间往往比模型的修改花的时间多,因此本文专门针对数据处理(图像类)进行一次梳理归纳,利人利己。

    TensorFlow有三种数据读取方式:
    1. 预先加载数据
    2. 使用python将数据feedTensor
    3. 从文件读取数据

    预先加载数据

    第一种方式直接把数据写在代码里进行运算,这种方式在一些简单的演示算法中很常见

    import tensorflow as tf
    a = tf.constant(3.0)
    b = tf.constant(4.0)
    c = a + b
    with tf.Session() as sess:
        print(sess.run(c))

    feed

    第二种方法是利用tf.placeholder提供一个数据输入的接口,在启动计算图时将数据通过这个接口输入计算图

    import tensorfow as tf
    train_images = ...
    train_labels = ...
    X = tf.placeholder([], dtypes=tf.float32)
    Y = tf.placeholder([], dtypes=tf.uint8)
    train_op = ...
    with tf.Session() as sess:
        sess.run(train_op, feed_dict={X: train_images, Y: train_labels})

    从文件读取

    第三种方法从文件中读取,涉及到数据的转换和读取两个方面,数据的转换又有各种格式可以选择,这里简单列举几个常用的数据存储与读取方法,最后介绍TensorFlow标准存储格式TFRecord的转换和读取方法。

    1、 .pkl
    .pkl文件是一种特殊的串行化存储的二进制格式文件,可以存储大部分常见的Python对象,使用起来十分方便

    import pickle
    
    def data_to_file(image_data, label):
        with open('somedata.pkl', 'wb') as f:
            pickle.dump([image_data, label], f)
    
    def file_to_data(pkl_file):
        with open(pkl_file, 'rb') as f:
            image_data, label = pickle.load(f)

    实际应用案例可参考上一篇博客

    2、 TFRecord
    如上所述,TFRecord是TensorFlow的标准存储格式,尽管这种数据格式的转换方式不是很直观,不是一两行代码就能搞定的,但是在使用时TensorFlow设计了一套高效的API来专门处理这种文件,配合TensorFlow图像处理的API使其在数据处理方面就显得更有优势了。下面的代码简单的展示了怎样将一张图片转换成.tfrecord文件,以及从文件解析出图片。

    """Converts image data to TFRecords file format with Example protos."""
    from __future__ import absolute_import
    from __future__ import division
    from __future__ import print_function
    
    from PIL import Image
    import tensorflow as tf
    
    # Input must be type int or long.
    def _int64_feature(value):
        return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))
    
    # Input must be type bytes
    def _bytes_feature(value):
        return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))
    
    def convert_to(data, name):
        filename = name + '.tfrecords'
        print('Writing', filename)
        writer = tf.python_io.TFRecordWriter(filename)
        # when there is one picture
        example = tf.train.Example(features=tf.train.Features(feature={
            'label': _int64_feature(data[1]),
            'image_raw': _bytes_feature(data[0])}))
    
        writer.write(example.SerializeToString())
        # # TODO
        # # when there is many pictures
        # for index in range(num_examples):
        #     ....
        writer.close()
    
    
    def main_1():
        # Get the data.
        images = Image.open('image_0006.jpg')
        images.resize((224,224))
        image_raw = images.tobytes()
        labels = 0
        data_sets = [image_raw, labels]
        # TODO: for large scale image dataset, 
        # a better way is reading while saving
        # Convert to Examples and write the result to TFRecords.
        convert_to(data_sets, 'test')
    
    
    def main_2():
        # Get the data.
        img_file = tf.read_file('image_0006.jpg')
        images = tf.image.decode_jpeg(img_file)
        images = tf.image.resize_images(images, [224,224])
        with tf.Session() as sess:
            image_raw = sess.run(tf.cast(images, tf.uint8))
        image_raw = image_raw.tobytes()
        labels = 0
        data_sets = [image_raw, labels]
        convert_to(data_sets, 'test')
    
    
    if __name__ == '__main__':
        main_2()
    from __future__ import absolute_import
    from __future__ import division
    from __future__ import print_function
    
    from PIL import Image
    import tensorflow as tf
    
    def read_and_decode(filename):
        filename_queue = tf.train.string_input_producer([filename])
    
        reader = tf.TFRecordReader()
        _, serialized_example = reader.read(filename_queue)
        features = tf.parse_single_example(serialized_example,
                                           features={
                                               'label': tf.FixedLenFeature([], tf.int64),
                                               'img_raw' : tf.FixedLenFeature([], tf.string),
                                           })
    
        image = tf.image.decode_jpeg(features['img_raw'], channels=3)
        image = tf.image.convert_image_dtype(image, dtype=tf.float32)
        label = tf.cast(features['label'], tf.int32)
    
        return image, label

    说明:
    1、代码中的example是样本的意思哦
    2、本代码只展示了将一张图转化为tfrecord格式
    3、图片的编解码、裁剪、缩放、旋转等操作,TensorFlow都有自己的函数可以代替第三方库的功能,根据习惯自己选择。

    References:

    1. tensorflow/g3doc/how_tos/reading_data/index.md
    2. http://blog.csdn.net/u012759136/article/details/52232266
    展开全文
  • 16种常用数据分析方法汇总

    万次阅读 多人点赞 2017-04-04 16:16:33
    经常会有朋友问到一个朋友,数据分析常用的分析方法有哪些,我需要学习哪个等等之类的问题,今天数据分析精选给大家整理了十六种常用数据分析方法,供大家参考学习。 一、描述统计 描述性统计是指运用制表和...

    经常会有朋友问到一个朋友,数据分析常用的分析方法有哪些,我需要学习哪个等等之类的问题,今天数据分析精选给大家整理了十六种常用的数据分析方法,供大家参考学习。

    一、描述统计

    描述性统计是指运用制表和分类,图形以及计筠概括性数据来描述数据的集中趋势、离散趋势、偏度、峰度。

    1、缺失值填充:常用方法:剔除法、均值法、最小邻居法、比率回归法、决策树法。

    2、正态性检验:很多统计方法都要求数值服从或近似服从正态分布,所以之前需要进行正态性检验。常用方法:非参数检验的K-量检验、P-P图、Q-Q图、W检验、动差法。

    二、假设检验

    1、参数检验

    参数检验是在已知总体分布的条件下(一股要求总体服从正态分布)对一些主要的参数(如均值、百分数、方差、相关系数等)进行的检验 。

    1)U验   使用条件:当样本含量n较大时,样本值符合正态分布

    2)T检验 使用条件:当样本含量n较小时,样本值符合正态分布

    A  单样本t检验:推断该样本来自的总体均数μ与已知的某一总体均数μ0 (常为理论值或标准值)有无差别;

    B  配对样本t检验:当总体均数未知时,且两个样本可以配对,同对中的两者在可能会影响处理效果的各种条件方面扱为相似;

    C 两独立样本t检验:无法找到在各方面极为相似的两样本作配对比较时使用。

    2、非参数检验

    非参数检验则不考虑总体分布是否已知,常常也不是针对总体参数,而是针对总体的某些一股性假设(如总体分布的位罝是否相同,总体分布是否正态)进行检验。

    适用情况:顺序类型的数据资料,这类数据的分布形态一般是未知的。

    A 虽然是连续数据,但总体分布形态未知或者非正态;

    B 体分布虽然正态,数据也是连续类型,但样本容量极小,如10以下;

    主要方法包括:卡方检验、秩和检验、二项检验、游程检验、K-量检验等。

    三、信度分析

    检査测量的可信度,例如调查问卷的真实性。

    分类:

    1、外在信度:不同时间测量时量表的一致性程度,常用方法重测信度

    2、内在信度;每个量表是否测量到单一的概念,同时组成两表的内在体项一致性如何,常用方法分半信度。

    四、列联表分析

    用于分析离散变量或定型变量之间是否存在相关。

    对于二维表,可进行卡方检验,对于三维表,可作Mentel-Hanszel分层分析。

    列联表分析还包括配对计数资料的卡方检验、行列均为顺序变量的相关检验。

    五、相关分析

    研究现象之间是否存在某种依存关系,对具体有依存关系的现象探讨相关方向及相关程度。

    1、单相关: 两个因素之间的相关关系叫单相关,即研究时只涉及一个自变量和一个因变量;

    2、复相关 :三个或三个以上因素的相关关系叫复相关,即研究时涉及两个或两个以上的自变量和因变量相关;

    3、偏相关:在某一现象与多种现象相关的场合,当假定其他变量不变时,其中两个变量之间的相关关系称为偏相关。

    六、方差分析

    使用条件:各样本须是相互独立的随机样本;各样本来自正态分布总体;各总体方差相等。

    分类

    1、单因素方差分析:一项试验只有一个影响因素,或者存在多个影响因素时,只分析一个因素与响应变量的关系

    2、多因素有交互方差分析:一顼实验有多个影响因素,分析多个影响因素与响应变量的关系,同时考虑多个影响因素之间的关系

    3、多因素无交互方差分析:分析多个影响因素与响应变量的关系,但是影响因素之间没有影响关系或忽略影响关系

    4、协方差分祈:传统的方差分析存在明显的弊端,无法控制分析中存在的某些随机因素,使之影响了分祈结果的准确度。协方差分析主要是在排除了协变量的影响后再对修正后的主效应进行方差分析,是将线性回归与方差分析结合起来的一种分析方法,

    七、回归分析

    分类:

    1、一元线性回归分析:只有一个自变量X与因变量Y有关,X与Y都必须是连续型变量,因变量y或其残差必须服从正态分布。

    2、多元线性回归分析

    使用条件:分析多个自变量与因变量Y的关系,X与Y都必须是连续型变量,因变量y或其残差必须服从正态分布 。

    1)变呈筛选方式:选择最优回归方程的变里筛选法包括全横型法(CP法)、逐步回归法,向前引入法和向后剔除法

    2)横型诊断方法:

    A 残差检验: 观测值与估计值的差值要艰从正态分布

    B 强影响点判断:寻找方式一般分为标准误差法、Mahalanobis距离法

    C 共线性诊断:

    • 诊断方式:容忍度、方差扩大因子法(又称膨胀系数VIF)、特征根判定法、条件指针CI、方差比例
    • 处理方法:增加样本容量或选取另外的回归如主成分回归、岭回归等

    3、Logistic回归分析

    线性回归模型要求因变量是连续的正态分布变里,且自变量和因变量呈线性关系,而Logistic回归模型对因变量的分布没有要求,一般用于因变量是离散时的情况

    分类:

    Logistic回归模型有条件与非条件之分,条件Logistic回归模型和非条件Logistic回归模型的区别在于参数的估计是否用到了条件概率。

    4、其他回归方法 非线性回归、有序回归、Probit回归、加权回归等

    八、聚类分析

    样本个体或指标变量按其具有的特性进行分类,寻找合理的度量事物相似性的统计量。

    1、性质分类:

    Q型聚类分析:对样本进行分类处理,又称样本聚类分祈 使用距离系数作为统计量衡量相似度,如欧式距离、极端距离、绝对距离等

    R型聚类分析:对指标进行分类处理,又称指标聚类分析 使用相似系数作为统计量衡量相似度,相关系数、列联系数等

    2、方法分类:

    1)系统聚类法: 适用于小样本的样本聚类或指标聚类,一般用系统聚类法来聚类指标,又称分层聚类

    2)逐步聚类法 :适用于大样本的样本聚类

    3)其他聚类法 :两步聚类、K均值聚类等

    九、判别分析

    1、判别分析:根据已掌握的一批分类明确的样品建立判别函数,使产生错判的事例最少,进而对给定的一个新样品,判断它来自哪个总体

    2、与聚类分析区别

    1)聚类分析可以对样本逬行分类,也可以对指标进行分类;而判别分析只能对样本

    2)聚类分析事先不知道事物的类别,也不知道分几类;而判别分析必须事先知道事物的类别,也知道分几类

    3)聚类分析不需要分类的历史资料,而直接对样本进行分类;而判别分析需要分类历史资料去建立判别函数,然后才能对样本进行分类

    3、进行分类 :

    1)Fisher判别分析法 :

    以距离为判别准则来分类,即样本与哪个类的距离最短就分到哪一类, 适用于两类判别;

    以概率为判别准则来分类,即样本属于哪一类的概率最大就分到哪一类,适用于

    适用于多类判别。

    2)BAYES判别分析法 :

    BAYES判别分析法比FISHER判别分析法更加完善和先进,它不仅能解决多类判别分析,而且分析时考虑了数据的分布状态,所以一般较多使用;

    十、主成分分析

    将彼此梠关的一组指标变适转化为彼此独立的一组新的指标变量,并用其中较少的几个新指标变量就能综合反应原多个指标变量中所包含的主要信息 。

    十一、因子分析

    一种旨在寻找隐藏在多变量数据中、无法直接观察到却影响或支配可测变量的潜在因子、并估计潜在因子对可测变量的影响程度以及潜在因子之间的相关性的一种多元统计分析方法

    与主成分分析比较:

    相同:都能够起到済理多个原始变量内在结构关系的作用

    不同:主成分分析重在综合原始变适的信息.而因子分析重在解释原始变量间的关系,是比主成分分析更深入的一种多元统计方法

    用途:

    1)减少分析变量个数

    2)通过对变量间相关关系探测,将原始变量进行分类

    十二、时间序列分析

    动态数据处理的统计方法,研究随机数据序列所遵从的统计规律,以用于解决实际问题;时间序列通常由4种要素组成:趋势、季节变动、循环波动和不规则波动。

    主要方法:移动平均滤波与指数平滑法、ARIMA横型、量ARIMA横型、ARIMAX模型、向呈自回归横型、ARCH族模型

    十三、生存分析

    用来研究生存时间的分布规律以及生存时间和相关因索之间关系的一种统计分析方法

    1、包含内容:

    1)描述生存过程,即研究生存时间的分布规律

    2)比较生存过程,即研究两组或多组生存时间的分布规律,并进行比较

    3)分析危险因素,即研究危险因素对生存过程的影响

    4)建立数学模型,即将生存时间与相关危险因素的依存关系用一个数学式子表示出来。

    2、方法:

    1)统计描述:包括求生存时间的分位数、中数生存期、平均数、生存函数的估计、判断生存时间的图示法,不对所分析的数据作出任何统计推断结论

    2)非参数检验:检验分组变量各水平所对应的生存曲线是否一致,对生存时间的分布没有要求,并且检验危险因素对生存时间的影响。

    A 乘积极限法(PL法)

    B 寿命表法(LT法)

    3)半参数横型回归分析:在特定的假设之下,建立生存时间随多个危险因素变化的回归方程,这种方法的代表是Cox比例风险回归分析法

    4)参数模型回归分析:已知生存时间服从特定的参数横型时,拟合相应的参数模型,更准确地分析确定变量之间的变化规律

    十四、典型相关分析

    相关分析一般分析两个变里之间的关系,而典型相关分析是分析两组变里(如3个学术能力指标与5个在校成绩表现指标)之间相关性的一种统计分析方法。

    典型相关分析的基本思想和主成分分析的基本思想相似,它将一组变量与另一组变量之间单变量的多重线性相关性研究转化为对少数几对综合变量之间的简单线性相关性的研究,并且这少数几对变量所包含的线性相关性的信息几乎覆盖了原变量组所包含的全部相应信息。

    十五、R0C分析

    R0C曲线是根据一系列不同的二分类方式(分界值或决定阈).以真阳性率(灵敏度)为纵坐标,假阳性率(1-特异度)为横坐标绘制的曲线

    用途:

    1、R0C曲线能很容易地査出任意界限值时的对疾病的识别能力

    用途 ;

    2、选择最佳的诊断界限值。R0C曲线越靠近左上角,试验的准确性就越高;

    3、两种或两种以上不同诊断试验对疾病识别能力的比较,一股用R0C曲线下面积反映诊断系统的准确性。

    十六、其他分析方法

    多重响应分析、距离分祈、项目分祈、对应分祈、决策树分析、神经网络、系统方程、蒙特卡洛模拟等。

    展开全文
  • 实验数据处理的基本方法

    千次阅读 2019-04-07 14:42:25
  • 处理不平衡数据常用采样方法

    千次阅读 2018-01-06 10:51:51
    介绍在数据挖掘中,经常会存在不平衡数据的分类问题,比如在异常监控预测中,由于异常就大多数情况下都不会出现,因此想要达到良好的识别效果普通的分类算法还远远不够,这里介绍几种处理不平衡数据常用方法及对比...



    介绍

    在数据挖掘中,经常会存在不平衡数据的分类问题,比如在异常监控预测中,由于异常就大多数情况下都不会出现,因此想要达到良好的识别效果普通的分类算法还远远不够,这里介绍几种处理不平衡数据的常用方法及对比。

    符号表示

    • 记多数类的样本集合为L,少数类的样本集合为S。
    • 用r=|S|/|L|表示少数类与多数类的比例

    基准

    我们先用一个逻辑斯谛回归作为该实验的基准:
    这里写图片描述

    Weighted loss function

    一个处理非平衡数据常用的方法就是设置损失函数的权重,使得少数类判别错误的损失大于多数类判别错误的损失。在python的scikit-learn中我们可以使用class_weight参数来设置权重。

    这里写图片描述

    欠采样方法(undersampling)

    Random undersampling of majority class

    一个最简单的方法就是从多数类中随机抽取样本从而减少多数类样本的数量,使数据达到平衡。
    这里写图片描述
    这里写图片描述

    Edited Nearest Neighbor (ENN)

    我们将那些L类的样本,如果他的大部分k近邻样本都跟他自己本身的类别不一样,我们就将他删除。
    这里写图片描述

    Repeated Edited Nearest Neighbor

    这个方法就是不断的重复上述的删除过程,直到无法再删除为止。

    这里写图片描述

    如果有两个不同类别的样本,它们的最近邻都是对方,也就是A的最近邻是B,B的最近邻是A,那么A,B就是Tomek link。我们要做的就是讲所有Tomek link都删除掉。那么一个删除Tomek link的方法就是,将组成Tomek link的两个样本,如果有一个属于多数类样本,就将该多数类样本删除掉。

    这里写图片描述

    过采样方法(Oversampling)

    我们可以通过欠抽样来减少多数类样本的数量从而达到平衡的目的,同样我们也可以通过,过抽样来增加少数类样本的数量,从而达到平衡的目的。

    Random oversampling of minority class

    一个最简单的方法,就是通过有放回的抽样,不断的从少数类的抽取样本,不过要注意的是这个方法很容易会导致过拟合。我们通过调整抽样的数量可以控制使得r=0.5
    这里写图片描述

    Synthetic Minority Oversampling Technique(SMOTE)

    这是一个更为复杂的过抽样方法,他的方法步骤如下:

    For each point p in S:
    1. Compute its k nearest neighbors in S.
    2. Randomly choose r ≤ k of the neighbors (with replacement).
    3. Choose a random point along the lines joining p and
    each of the r selected neighbors.
    4. Add these synthetic points to the dataset with class
    S.
     
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    For each point p in S:
    1. 计算点p在S中的k个最近邻
    2. 有放回地随机抽取R≤k个邻居
    3. 对这R个点,每一个点与点p可以组成一条直线,然后在这条直线上随机取一个点,就产生了一个新的样本,一共可以这样做从而产生R个新的点。
    4.  将这些新的点加入S中
     
    • 1
    • 2
    • 3
    • 4
    • 5

    这里写图片描述

    Borderline-SMOTE1

    这里介绍两种方法来提升SMOTE的方法。

    For each point p in S:
        1. Compute its m nearest neighbors in T. Call this set Mp and let m'= |Mp ∩ L|.
        2. If m'= m, p is a noisy example. Ignore p and continue to the next point.
        3. If 0 ≤ m'≤m/2, p is safe. Ignore p and continue to the next point.
        4. If m/2 ≤ m'≤ m, add p to the set DANGER.
    For each point d in DANGER, apply the SMOTE algorithm to generate synthetic examples.
     
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    For each point p in S:
        1. 计算点p在训练集T上的m个最近邻。我们称这个集合为Mp然后设 m'= |Mp ∩ L| (表示点p的最近邻中属于L的数量).
        2. If m'= m, p 是一个噪声,不做任何操作.
        3. If 0m'≤m/2, 则说明p很安全,不做任何操作.
        4. If m/2m'≤ m, 那么点p就很危险了,我们需要在这个点附近生成一些新的少数类点,所以我们把它加入到DANGER中.
    最后,对于每个在DANGER中的点d,使用SMOTE算法生成新的样本.
     
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    Borderline-SMOTE
    我们应用Borderline-SMOTE1的参数设置为k=5,为了使得r=0.5

    这里写图片描述

    Borderline-SMOTE2

    这个与Borderline-SMOTE1很像,只有最后一步不一样。
    在DANGER集中的点不仅从S集中求最近邻并生成新的少数类点,而且在L集中求最近邻,并生成新的少数类点,这会使得少数类的点更加接近其真实值。

    FOR p in DANGER:
        1.在S和L中分别得到k个最近邻样本Sk和Lk。
        2.在Sk中选出α比例的样本点和p作随机的线性插值产生新的少数类样本
        3.在Lk中选出1−α比例的样本点和p作随机的线性插值产生新的少数类样本。
     
    • 1
    • 2
    • 3
    • 4

    为了达到r=0.5 实验取k=5
    这里写图片描述

    组合方法(Combination)

    这里写图片描述

    SMOTE + ENN

    这里写图片描述

    集成方法(Ensemble)

    EasyEnsemble

    一个最简单的集成方法就是不断从多数类中抽取样本,使得每个模型的多数类样本数量和少数类样本数量都相同,最后将这些模型集成起来。
    算法伪代码如下:

    1. For i = 1, ..., N:
        (a) 随机从 L中抽取样本Li使得|Li| = |S|.
        (b) 使用Li和S数据集,训练AdaBoost分类器Fi。 
     
    • 1
    • 2
    • 3

    Fi(x)=sgn(j=1niwijfij(x)bi)

    2. 将上述分类器联合起来
     
    • 1

    F(x)=sgn(i=1NFi(x))

    precision on Lrecall on S
    0.980.88

    BalanceCascad

    这个方法跟EasyEnsemble有点像,但不同的是,每次训练adaboost后都会扔掉已被正确分类的样本,经过不断地扔掉样本后,数据就会逐渐平衡。
     一种基于级联模型的类别不平衡数据分类方法
    该图来自:刘胥影, 吴建鑫, 周志华. 一种基于级联模型的类别不平衡数据分类方法[J]. 南京大学学报:自然科学版, 2006, 42(2):148-155

    precision on Lrecall on S
    0.990.91

    原文链接:Survey of resampling techniques for improving classification performance in unbalanced datasets
    译者:乔杰


    作为分享主义者(sharism),本人所有互联网发布的图文均遵从CC版权,转载请保留作者信息并注明作者a358463121专栏:http://blog.csdn.net/a358463121,如果涉及源代码请注明GitHub地址:https://github.com/358463121/。商业使用请联系作者。

    展开全文
  • 论文常用实验数据收集整理

    千次阅读 2016-09-20 10:24:44
    论文常用数据论文常用数据 搜狗实验室 关键词 相关任务 Text Analysis Conference 关键词 相关任务 DUC 持续更新中1. 搜狗实验室关键词 自然语言处理 中文语料 相关任务 分类,事件检测跟踪,新词发现,命名实体...
  • 统计学常用数据分析方法总结

    千次阅读 2019-10-31 15:54:45
    描述统计是通过图表或数学方法,对数据资料进行整理、分析,并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。 集中趋势分析 ...
  • 实验数据处理方法 (共四部分) part3 <br>第一部分:概率论基础知识; 第二部分:Monte Carlo模拟; 第三部分:统计学方法;
  • Origin的基础实验数据处理

    千次阅读 2020-03-01 23:15:56
    Origin是美国Microcal公司推出的数据处理软件,同时也是国际科技出版界公认的标准作图软件。科研工作者需要跨越语言和专业知识的障碍从而实现有效的交流,Origin强大的数据处理和制图功能无疑是最好的选择。 数据...
  • 试验设计与数据处理(第2版)结合大量实例,介绍了一些常用的试验设计及试验数据处理方法在科学试验和工业生产中的实际应用,并介绍了计算机在试验数据处理中的强大功能。分为9章,其中前4章介绍了试验数据的误差、...
  • 统计学中常用数据分析方法汇总

    千次阅读 2020-06-21 15:38:22
    描述统计是通过图表或数学方法,对数据资料进行整理、分析,并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析、离中趋势分析和相关分析三大部分。 集中趋势分析集中...
  • 9种常用数据分析方法

    千次阅读 2020-08-17 11:09:23
    对比法就是用两组或两组以上的数据进行比较,是最通用的方法。 我们知道孤立的数据没有意义,有对比才有差异。比如在时间维度上的同比和环比、增长率、定基比,与竞争对手的对比、类别之间的对比、特征和属性对比等...
  • 常用数据科学方法总结梳理笔记

    千次阅读 2019-05-10 16:27:06
    常用数据科学方法 【未经允许,不得转载】 ...
  • 为解决MEMS陀螺输出信号中噪声大、随机漂移严重的问题,提出了一种小波阈值去噪和...实验结果表明,此数据处理方法可有效抑制MEMS陀螺输出噪声,且与AR模型相比,FAR模型能更精确地对MEMS陀螺随机漂移进行建模及预测。
  • 试验设计与数据处理》是为高等学校化学工程学科以及有关专业本科生...本书主要介绍化学工程学科中常用试验设计与数据处理方法,内容包括单因素试验设计方法、正交试验设计方法、方差分析、回归分析和误差分析等。
  • 统计学常用数据分析方法大总结

    千次阅读 2020-05-13 09:07:40
    来源:知乎作者:阿平一、描述统计描述统计是通过图表或数学方法,对数据资料进行整理、分析,并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中...
  • 第二章 实验数据误差分析和数据处理 第一节实验数据地误差分析 由于实验方法实验设备地不完善周围环境地影响以及人地观察力测量程序等限 制实验观测值和真值之间总是存在一定地差异 ?人们常用绝对误差相对误差或...
  • Matlab电路仿真实验常用建模方法.pdf
  • 1、数据处理的应用背景 2、插值的基本原理 3、引例 3.1、引例演示 4、一维插值定义 5、一维插值原理 6、一维插值方法 6.1、拉格朗日插值 6.2、分段线性插值 6.3、三次样条插值 3.2 二维插值方法 1、高维插值的应用...
  • 16种常用数据统计分析方法汇总

    万次阅读 2019-04-24 16:43:00
    经常会有朋友问到一个朋友,数据分析常用的分析方法有哪些,我需要学习哪个等等之类的问题,今天数据分析精选给大家整理了十六种常用数据分析方法,供大家参考学习。 (注:这些统计分析方法基本都是统计学的方法...
  • 作者:阿平@zhihu来源:知乎一、描述统计描述统计是通过图表或数学方法,对数据资料进行整理、分析,并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 138,544
精华内容 55,417
关键字:

常用实验数据处理方法