精华内容
下载资源
问答
  • 一组一维数据(实验结果)的稳定程度进行评价,以图示方式显示其分布情况。

    MATLAB一维数据分布情况(稳定程度)


    by HPC_ZY


    搞研究的小伙伴们,经常需要对实验结果进行分析,获取实验的稳定性等。这里提供一个小函数,能对一维数据(实验结果)进行分析,并以图示方式显示其分布情况和稳定性。


    一、具体实现

    主要通过均值方差统计分布实现,不多解释直接上代码。

    %   计算一维数据分布情况
    %
    %   输入:
    %       data - 一维数据
    %       barnum - (统计)分段数
    %       style - 坐标显示风格,0-数据值,1-五线值
    %   输出:
    %       meandata - 平均值
    %       vardata - 标准差
    %
    %   例:
    %       % 随机生成一组数据
    %       data = 32+(randn(50,1)-0.5)*5;
    %       %32段计算并显示分布情况
    %       [meandata,vardata] = datadistr(data,32,1);
    %
    %   注:对于基于统计的分布情况中的各显示参数,不要过于纠结,
    %   若真的很感兴趣,可以自己推导。
    %
    %   by HPC_ZY 20200623
    
    function [meandata,vardata] = datadistr(data,barnum,style)
    
    % 数量、均值、标准差
    data = data(:);
    num = length(data);
    meandata = mean(data);
    vardata = sum(sqrt((data-meandata).^2))/num;
    
    %% 直接在数据点上显示分布情况
    
    x = 1:num;
    y = data;
    
    % 显示
    figure
    subplot(211)
    plot(x,y,'r*'),hold on
    line([0,num+1],[1,1]*meandata,'LineStyle','-','Color',[1,1,1]*0)
    line([0,num+1],[1,1]*(meandata+vardata),'LineStyle','-.','Color',[1,1,1]*0.25)
    line([0,num+1],[1,1]*(meandata-vardata),'LineStyle','-.','Color',[1,1,1]*0.25)
    line([0,num+1],[1,1]*(meandata+3*vardata),'LineStyle','--','Color',[1,1,1]*0.5)
    line([0,num+1],[1,1]*(meandata-3*vardata),'LineStyle','--','Color',[1,1,1]*0.5)
    axis([0,num+1,meandata-4*vardata,meandata+4*vardata])
    legend('data','\mu','+\sigma','-\sigma','+3\sigma','-3\sigma')
    
    if style
        ytick = round((meandata+vardata*[-3,-1,0,1,3])*100)/100;
        yticks(ytick)
        yticklabels(num2cell(ytick))
    end
    
    %% 基于统计的分布情况
    
    % 分段统计数量
    mindata = min(data)-0.1;
    maxdata = max(data)+0.1;
    barwidth = (maxdata-mindata)/barnum;
    datalist = ceil((data-mindata)/barwidth);
    barList = zeros(barnum,1);
    for k = 1:num
        barList(datalist(k)) = barList(datalist(k))+1;
    end
    
    
    % 显示(不要纠结各显示参数)
    subplot(212)
    bar(barList),hold on
    
    if style
        xtick = round(((meandata+[-3,-1,0,1,3]*vardata-mindata)/barwidth+0.5)*100)/100;
        xticks(xtick)
        xticklabels(num2cell(xtick))
    else
        xticks(1:barnum)
        xticklabels(num2cell(round((mindata+barwidth*(0.5:barnum))*10)/10))
    end
    
    yticks(1:max(barList))
    yticklabels(num2cell(1:max(barList)))
    
    line([1,1]*((meandata-mindata)/barwidth+0.5),[0,max(barList)+1],...
        'LineStyle','-','Color',[1,1,1]*0)
    line([1,1]*((meandata+vardata-mindata)/barwidth+0.5),[0,max(barList)+1],...
        'LineStyle','-.','Color',[1,1,1]*0.25)
    line([1,1]*((meandata-vardata-mindata)/barwidth+0.5),[0,max(barList)+1],...
        'LineStyle','-.','Color',[1,1,1]*0.25)
    line([1,1]*((meandata+3*vardata-mindata)/barwidth+0.5),[0,max(barList)+1],...
        'LineStyle','--','Color',[1,1,1]*0.5)
    line([1,1]*((meandata-3*vardata-mindata)/barwidth+0.5),[0,max(barList)+1],...
        'LineStyle','--','Color',[1,1,1]*0.5)
    
    gaussx = ((meandata-3*vardata-mindata)/barwidth-0.5):0.1:((meandata+3*vardata-mindata)/barwidth+1);
    gaussy = max(barList+0.5)*exp(-(gaussx-((meandata-mindata)/barwidth+0.5)).^2/2/(vardata/barwidth)^2);
    plot(gaussx,gaussy,'r--')
    legend('data','\mu','+\sigma','-\sigma','+3\sigma','-3\sigma','NDC')
    axis([(meandata-4*vardata-mindata)/barwidth-0.5,...
        (meandata+4*vardata-mindata)/barwidth+0.5,0,max(barList+1)])
    
    end
    
    

    二、测试

    通过以下两个实例,大概演示不同参数的效果

    1. 32段+坐标值
    % 随机生成一组数据
    data = 20+(randn(50,1)-0.5)*5;
    %32段计算并显示分布情况
    [meandata,vardata] = datadistr(data,32,0);
    

    在这里插入图片描述

    1. 16段+五线值
    % 随机生成一组数据
    data = 8+(randn(50,1)-0.5)*2;
    %16段计算并显示分布情况
    [meandata,vardata] = datadistr(data,16,1);
    

    在这里插入图片描述

    三、其他

    欢迎复制拿走,如果觉得还行不妨留言点赞,爱了爱了

    展开全文
  • 模型、数据分布稳定

    万次阅读 2018-01-12 14:20:39
    模型稳定性: 群体稳定性指标(population stability index) ...在你的测试数据集上的输出设定为p1,将它从小到大排序后将数据集10等分(每样本数一直,此为等宽分组),计算每等分组的最大最小预测的类概率值

    模型稳定性:

    群体稳定性指标(population stability index)
    公式: psi = sum((实际占比-预期占比)* ln(实际占比/预期占比))
    举个例子解释下,比如训练一个logistic回归模型,预测时候会有个类概率输出,p。在你的测试数据集上的输出设定为p1,将它从小到大排序后将数据集10等分(每组样本数一直,此为等宽分组),计算每等分组的最大最小预测的类概率值。

    现在你用这个模型去对新的样本进行预测,预测结果叫p2,利用刚才在测试数据集上得到的10等分每等分的上下界。按p2将新样本划分为10分(不一定等分了哦)。

    实际占比就是新样本通过p2落在p1划分出来的每等分界限内的占比,预期占比就是测试数据集上各等分样本的占比。
    意义就是如果模型更稳定,那么在新的数据上预测所得类概率应该更建模分布一致,这样落在建模数据集所得的类概率所划分的等分区间上的样本占比应该和建模时一样,否则说明模型变化,一般来自预测变量结构变化。通常用作模型效果监测。

    一般认为PSI小于0.1时候模型稳定性很高,0.1-0.2一般,需要进一步研究,大于0.2模型稳定性差,建议修复。

    数据分布稳定性:

    psi = sum((样本A分布占比-样本B分布占比)* ln(样本A分布占比/样本B分布占比))


    展开全文
  • MATLAB对一组数据进行插值的方法

    万次阅读 2017-09-25 20:07:09
    用多项式函数(10.2)作为插值函数时,希望通过解方程(10.3)而得到待定系数 function y=lagrange(x0,y0,x); n=length(x0);m=length(x); for i=1:m z=x(i); s=0.0; for k=1:n p=1.0; for j=1:n if j...
    1、拉格朗日插值 
    
    用多项式函数(10.2)作为插值函数时,希望通过解方程组(10.3)而得到待定系数


    function y=lagrange(x0,y0,x);
    n=length(x0);m=length(x);
    for i=1:m
    z=x(i);
    s=0.0;
    for k=1:n
    p=1.0;
    for j=1:n
    if j~=k
    p=p*(z-x0(j))/(x0(k)-x0(j));
    end
    end
    s=p*y0(k)+s;
    end
    y(i)=s;
    en


    2、分段线性插值
    用Matlab实现分段线性插值不需要编制函数程序,Matlab中有现成的一维插值函数interp1。
    y=interp1(x0,y0,x,'method')
    method指定插值的方法,默认为线性插值。其值可为:
    'nearest' 最近项插值
    'linear' 线性插值
    'spline' 立方样条插值'cubic' 立方插值。
    所有的插值方法要求x0是单调的。
    当x0为等距时可以用快速插值法,使用快速插值法的格式
    为 '*nearest'、'*linear' 、'*spline' 、'*cubic'


    3、三次样条曲线插值


    Matlab中三次样条插值也有现成的函数:
    展开全文
  • Cause: java.sql.SQLException: ORA-30926: 无法在源表中获得一组稳定的行 ### The error may involve package.class.method-Inline ### The error occurred while setting parameters ### SQL: MERGE..

    org.springframework.jdbc.UncategorizedSQLException: 
    ### Error updating database.  Cause: java.sql.SQLException: ORA-30926: 无法在源表中获得一组稳定的行

    ### The error may involve package.class.method-Inline
    ### The error occurred while setting parameters
    ### SQL: MERGE INTO ...
    ### Cause: java.sql.SQLException: ORA-30926: 无法在源表中获得一组稳定的行

    ; uncategorized SQLException for SQL []; SQL state [99999]; error code [30926]; ORA-30926: 无法在源表中获得一组稳定的行
    ; nested exception is java.sql.SQLException: ORA-30926: 无法在源表中获得一组稳定的行

    问题复现:假设ID为UUID且是主键

    MERGE INTO tableName t1 USING (
    	SELECT
    		? AS ID, ? AS XUEHAO, ? AS NAME 
    	FROM
    		dual UNION
    	SELECT
    		? AS ID, ? AS XUEHAO, ? AS NAME 
    	FROM
    		dual UNION
    	SELECT
    		? AS ID, ? AS NAME 
    	FROM
    		dual 
    	) t2 ON ( t1.XUEHAO = t2.XUEHAO ) 
    	WHEN MATCHED THEN
    UPDATE 
    	SET t1.NAME = t2.NAME 
    	,t1.XUEHAO = t2.XUEHAO
    	WHEN NOT MATCHED THEN
    	INSERT ( ID, XUEHAO, NAME )
    VALUES
    	( t2.ID, t2.XUEHAO, t2.NAME )

    分情况说明:

    1、如果第3行和第7行的数据完全相同,只会存入一条数据

    2、如果第3行和第7行的数据XUEHOA相同,会存入两条数据,如果你想让学号唯一,需加唯一索引

    3、如果第3行和第7行的数据XUEHOA相同,会存入两条数据,当再次执行这条sql的时候,就会报上面的错误:> ORA-30926: unable to get a stable set of rows in the source tables

    4、第11行会报错:ORA-01789: 查询块具有不正确的结果列数

    5、第18行会报错:ORA-38104: 无法更新 ON 子句中引用的列: "T1"."XUEHAO"

    展开全文
  • 5.2.2 消费者和消费数据

    千次阅读 2021-04-19 15:10:55
    消费者加入过程发送的“加入请求”和“同步请求”,都会指定消费编号(groupid)和消费者成员编号(l’lel’lberId),同个消费编号只对应个“消费数据”(GroupMetadata,下文简称“数据”)。...
  • 2)在merge的时候也遇到一个问题,出现”ORA-30926: 无法在源表中获得一组稳定的行。“这个问题原因比较简单,因为在merge into时需要设定一个key值,会根据这个key值来决定merge into的操作(update还是insert
  • 转:... 大家可以看看:http://blog.sina.com.cn/s/blog_5d25646e0100qu17.html的内容,然后我再补充一点:新建两张table :test_source和test_target,他们的数据分别如下: SQL> sel...
  • ORA-30926: 无法在源表中获得一组稳定的行 ---------------------哈哈,报错了,大家想想为什么呢?----------------------------- ------------------------------------------------------------------------...
  • 数据结构与算法学习笔记

    万次阅读 多人点赞 2018-09-25 13:55:49
    数据结构指的是“一组数据的存储结构”,算法指的是“操作数据的一组方法”。 数据结构是为算法服务的,算法是要作用再特定的数据结构上的。 最常用的数据结构预算法: 数据结构:数组、链表、栈、队列、散列表、...
  • 数据结构——学习笔记——入门必【建议收藏】

    万次阅读 多人点赞 2020-02-09 17:34:57
    数据之间存在种或多种特定关系的数据元素集合 为编写出个“好”的程序,必须分析待处理对象的特性及各处理对象之间存在的关系 这也就是研究数据结构的意义所在 第章:数据结构绪论 1.什么是程序 程序 ...
  • 代谢数据分析的统计学方法综述

    万次阅读 多人点赞 2018-10-01 21:34:14
    代谢学研究产生大量的数据,这些数据具有高维、小样本、高噪声等复杂特征。如何从复杂的代谢数据中提取出有价值的信息,筛选出潜在的生物标志物成为近年来代谢学研究的热点和难点。据此,本文针对目前代谢...
  • 非靶向代谢数据分析方法总结

    万次阅读 多人点赞 2019-04-30 18:53:10
    其中,代谢学是相对比较年轻的一门学科,“代谢”(metabolome)的概念于1998第次被提出。基因学和转录学是生物信息的上游,更多的体现的是生物活动的内在本质因素,而代谢学是生物信息的最下游,体现的...
  • 数据结构基础知识核心归纳()

    万次阅读 多人点赞 2017-09-09 09:56:42
    堆是种树状的数据结构。一般由程序员分配释放,存放由new创建的对象和数(C中是由malloc分配和free释放),JVM不定时查看这个对象,如果没有引用指向这个对象就回收.1)优点:可动态分配内存大小,生成周期不必事先...
  • 查找与排序除了需要掌握代码外,还需要掌握各种性能对比,本文对常见的... 稳定性 适用性 趟是否能 确定个位置 比较次数是否 与初态无关 直接插入排序 最好:O(n) O...
  • 数据结构基础概念篇

    万次阅读 多人点赞 2017-11-14 13:44:24
    数据结构一些概念 数据结构就是研究数据的逻辑结构和物理结构...数据元素:数据(集合)中的个“个体”,数据及结构中讨论的基本单位 数据项:数据的不可分割的最小单位。数据元素可由若干个数据项组成。 数据
  • 之前在《笔记︱信用风险模型(申请评分、行为评分)与数据准备(违约期限、WOE转化)》中提到过WOE转换,WOE转换=分箱法=Logit值,与等深、等宽不同是根据被解释变量来重新定义个WOE值 **笔者将其定位于对自...
  • 、网站应用背景开发个网站的应用程序,当用户规模比较小的时候,使用简单的:台应用服务器+台数据库服务器+台文件服务器,这样的话完全可以解决部分问题,也可以通过堆硬件的方式来提高网站应用的访问...
  • 最近有小伙伴面试,对数据结构和算法比较头疼,我整理了波资料,帮助大家快速掌握数据结构和算法的面试,感觉有用的下伙伴,点赞支持哦! 不叨叨,直接上干货。 目录 Q1:数据结构和算法的知识点整理: Q2:...
  • 全基因重测序数据分析

    万次阅读 2018-01-16 13:57:46
    全基因重测序数据分析 转自:http://www.biodiscover.com/news/research/95875.html 1. 简介(Introduction) 通过高通量测序识别发现de novo的somatic和germ line 突变,结构变异-SNV,包括重排突变...
  • 数据分析统计学基础之数据的趋势

    千次阅读 2019-05-15 18:01:25
    它是一组数据的代表值.数据的集中趋势就是一组数据向数据的中心值靠拢的程度。   集中趋势是统计学中的重要统计分析指标,常用的有平均数,中位数和众数等。 1.1平均数   平均数为集中趋势的最常用测度值,目的...
  • 注:本文于2019年1月31日发表于微信公众号 谈数据(learning-bigdata) 在和一些客户、同事聊数据的时候,发现好多人...[GB/T 18391.1-2002,定义3.14] ,用一组属性描述定义、标识、表示和允许值的数据单元,数...
  • 数据元与元数据

    万次阅读 多人点赞 2019-06-05 17:35:22
    数据是关于数据数据,在某些时候不特指某个单独的数据,可以理解为是一组用来描述数据的信息组/数据组,该信息组/数据组中的一切数据、信息,都描述/反映了某个数据的某方面特征,则该信息组/数据组可称为一个元...
  • 矢量数据的生成和读取方法

    千次阅读 热门讨论 2014-03-15 19:54:52
    科学计算可视化,第步是要有数据,没有数据一切都是空谈。我在做矢量场可视化算法过程中,开始也是着实着急了一阵,手头没有矢量数据,就无法验证文献...下面是我在研究算法过程中经常用到的几矢量数据,现在把数
  • 数据结构知识整理

    万次阅读 多人点赞 2018-07-30 18:50:47
    章:绪论 1.数据结构:是一门研究非数值计算的程序设计问题中计算机的操作对象以及他们之间的关系和操作等的学科。 2.数据结构涵盖的内容: 3.基本概念和术语: 数据:对客观事物的符号表示,在计算机科学...
  • 稳定排序与不稳定排序

    万次阅读 2018-07-17 11:20:18
    这几天笔试了好几次了,连续碰到个关于常见排序算法稳定性判别的问题,往往还是多选,对于我以及和我一样拿不准的同学可不是个能轻易下结论的题目,当然如果你笔试之前已经记住了数据结构书上哪些是稳定的,哪些...
  • 是规划、控制和提供数据及信息资产的一组业务职能,包括开发执行监督有关 数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据和信息资产的价值。——DMBOK 1.0 数据治理 Data ...
  • 数据挖掘面试 150 道题(附答案)

    万次阅读 多人点赞 2019-09-21 13:50:38
    1. 某超市研究销售纪录数据后发现,买啤酒的人很大概率也会购买尿布,这种属于数据挖掘的哪类问题?(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 2. 以下两种描述分别对应哪两种对分类算法的评价标准...
  • 个运行了20多年的数据架构,必然有其合理性。也正是因为年代久远,存量过多,才导致举步维艰。在Cloud和5G时代,超密度网络集成和大数据洞察需求给电信供应商带来新的挑战,从数据仓库到数...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 404,307
精华内容 161,722
关键字:

一组数据怎么看稳定