精华内容
下载资源
问答
  • ADNI挑选有意义的数据进行下载 【2】

    千次阅读 热门讨论 2019-06-27 21:05:10
    #ADNI数据集本身提供处理过的图片# 一篇论文“Non-White Matter Tissue Extraction and Deep Convolutional Neural ...”中涉及到的预处理的数据如下: “We use the FDG-PET and MRI data downloaded from AD...

    ADNI数据集本身提供处理过的图片

    有一篇论文“Non-White Matter Tissue Extraction and Deep Convolutional Neural Network for Alzheimer’s Disease Detection
    ”中涉及到的预处理的数据如下:
    “We use the FDG-PET and MRI data downloaded from ADNI1 dataset with each pair of FDG-PET and MRI for same subject and captured at the same time. The MRI and PET images have undergone several preprocessed steps of research groups belonged to the ADNI.
    In detail, the MRI images are pre-processed by steps: gradwarp, B1 non-uniformity and N3. Gradwarp means correction of image geometry distortion due to gradient model, B1 non-uniformity is a correction procedure that uses B1 calibration scans to correct image intensity nonuniformity. Finally, a N3 histogram peak sharpening algorithm was applied to reduce intensity non-uniformity of images. (其中,对MRI图像进行预处理的步骤有:梯度偏差、B1非均匀性和N3。梯度偏差是指梯度模型引起的图像几何畸变的校正,B1非均匀性是利用B1校正扫描对图像强度非均匀性进行校正的一种校正方法。最后,采用N3直方图峰值锐化算法来降低图像的强度不均匀性)
    For the FDG-PET images, a procedure involving dynamic co-registering frames and acquiring averaging from baseline PET scan was conducted. PET images were reoriented as AC-PC correction into a standard 160x160x96 voxel image grid, having 1.5mm cubic voxels. These images underwent continued filtering with a scanner-specific filter function to procedure images of a uniform isotropic resolution of 8mm Full Width at Half Maximum (FWHM). (对FDG-PET图像,采用动态共配帧和基线PET扫描平均的方法。将PET图像重新定向为AC-PC校正,得到标准的160x160x96体素图像网格,体素为1.5mm立方。这些图像在半最大值(FWHM)条件下,通过一个特定于扫描器的滤波功能,对均匀各向同性分辨率为8mm的全宽图像进行连续滤波。)
    那么如何针对论文中提到的数据进行搜索呢?下面介绍一二:
    在这里插入图片描述
    我们首先搜索AD类的数据,且同时搜索MRI和PET模态的数据,请见上图。单击搜索(SEARCH)后如下图所示。
    在这里插入图片描述
    可以发现,受试者002_S_0619的图片都是MRI模态的,没有PET模态的,所以放弃这是受试者,通过滚动条,继续查找下一个受试者,因为我们的目的是寻找同一年内既有MRI图像又有PET图像的受试者,最终把这两种模态的图片进行配准等多模态分析,可以详见论文。接下来继续:
    在这里插入图片描述
    这里84.6和84.7岁视为85岁,且存在满足条件的图像,所以,就勾选上,然后单击Add to Collection按钮。然后,出现:
    在这里插入图片描述
    我们可以新建一个名字tt5,这时就会收集到tt5这里了,见下图
    在这里插入图片描述
    医学影像中用的nii和img文件类型比较多,大家可以都试着下载一下,看看哪个文件类型比较大。然后看一下下载的文件命名里面有日期,和上图中的获取日期(Acq Date)是否一致(肯定不一致的)。留下的任务,认真完成啊,然后给我留言。若是留言人数多,我会给大家介绍如何在Python读取和处理这些医学影像的在这里插入图片描述

    展开全文
  • 数据分析的意义和方法

    万次阅读 2019-02-28 10:19:52
    数据分析的意义 数据分析是指用适当统计分析方法对收集来大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概况总结过程,是为了寻求问题答案而实施的有计划、步骤行为。 数据分析分类:...

    数据分析的意义

    数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概况总结的过程,是为了寻求问题的答案而实施的有计划、有步骤的行为。

    数据分析分类:

    • 描述性统计分析:应用统计特征、统计表、统计图等方法,对资料的数量特征及其分布规律进行测定和描述。
    • 验证性统计分析:侧重于对已有的假设或模型进行验证。
    • 探索性统计分析:主动在数据之中发现新的特征或有用的隐藏信息。

    数据分析的方法

    常用的数据分析方法有描述性统计分析、参数估计、假设检验、方差分析等。

    描述性统计分析

    在这里插入图片描述

    参数估计

    在这里插入图片描述

    假设检验

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    方差分析

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    回归分析

    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 数据取对数的意义

    千次阅读 2019-01-26 11:55:37
    数据取对数的意义 https://wenku.baidu.com/view/9705fbc0783e0912a2162ad5.html 平时在一些数据处理中,经常会把原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会...

    数据取对数的意义
    https://wenku.baidu.com/view/9705fbc0783e0912a2162ad5.html

    平时在一些数据处理中,经常会把原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要有:

    1. 缩小数据的绝对数值,方便计算。
      例如,每个数据项的值都很大,许多这样的值进行计算可能对超过常用数据类型的取值范围,这时取对数,就把数值缩小了,例如TF-IDF 计算时,由于在大规模语料库中,很多词的频率是非常大的数字。

    2. 取对数后,可以将乘法计算转换称加法计算。

    3. 某些情况下, 在数据的整个值域中的在不同区间的差异带来的影响不同。
      例如, 中文分词的mmseg 算法,计算语素自由度时候就取了对数,这是因为,如果某两个字的频率分别都是500,频率和为1000,另外两个字的频率分别为200 和例如, 中文分词的mmseg 算法,计算语素自由度时候就取了对数,这是因为,如果某两个字的频率分别都是500,频率和为1000,另外两个字的频率分别为200 和800,如果单纯比较频率和都是相等的,但是取对数后,log500=2.69897, log200=2.30103, log800=2.90308 这时候前者为2log500=5.39794, 后者为log200+log800=5.20411 ,这时前者的和更大,取前者。因为前面两个词频率都是500,可见都比较常见。后面有个词频是200,说明不太常见,所以选择前者。

      从log 函数的图像可以看到,自变量x 的值越小,函数值y的变化越快。

      还是前面的例子, 同样是相差了300, 但log500-log200>log800-log500 ,因为前面一对的比后面一对更小。也就是说,对数值小的部分差异的敏感程度比数值大的部分的差异敏感程度更高。这也是符合生活常识的,例如对于价格,买个家电,如果价格相差几百元能够很大程度影响你决策,但是你买汽车时相差几百元你会忽略不计了

    4. 取对数之后不会改变数据的性质和相关关系, 但压缩了变量的尺度,例如800/200=4, 但log800/log200=1.2616 ,数据更加平稳,也消弱了模型的共线性、异方差性等。

    5. 在经济学中,常取自然对数再做回归,这时回归方程为 lnY=a lnX+b ,两边同时对X 求导, 1/Y*(dY/dX)=a1/X, el=(dY/dX)(X/Y)=(dYX)/(dXY)=(dY/Y)/(dX/X) 这正好是弹性的定义。dlnY/dlnX=(DY/Y)/(DX/X)

    当然,如果数据集中有负数当然就不能取对数了。实践中,取对数的一般是水平量,而不是比例数据,例如变化率等。

    展开全文
  • 数据中台建设的意义

    2020-10-19 18:53:07
    ​数据中台是当下非常热门的话题,可以解决企业重复造轮子的问题。虽然数据中台在互联网企业中已经了多年的实践,但是...我们现在搭建的数据中台,就是希望扮演“发电厂”的角色。” 数据中台把数据统一之后,会形成

    ​数据中台是当下非常热门的话题,可以解决企业重复造轮子的问题。虽然数据中台在互联网企业中已经有了多年的实践,但是对于传统企业来说还是一个比较新的话题。

    为什么要建数据中台,数据中台建设的意义
    数据中台是指通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径。

    马老师(马云)说过,数据中台成为大数据行业的热门概念,它最先是从阿里引出的,“很多人会把数据比作“石油”,阿里巴巴要成为全球电子商务的“水电煤”。我们现在搭建的数据中台,就是希望扮演“发电厂”的角色。”

    数据中台把数据统一之后,会形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。这些服务跟企业的业务有较强的关联性,是这个企业独有的且能复用的,它是企业业务和数据的沉淀,其不仅能降低重复建设、减少烟囱式协作的成本,也是差异化竞争优势所在。

    数据中台建设的意义:
    1、为商业模式的创新提供数据基础
    只有依托数据和算法,将由海量数据提炼的洞察转化为行动,才能推动大规模的商业创新。数据中台在通过算法将洞察直接转化为行动、实现大规模商业创新方面的能力,令人瞩目。另一方面,数据无法被业务用起来的一个原因是数据没办法变得可阅读、易理解。信息技术人员不够懂业务,而业务人员不够懂数据,导致数据应用到业务变得很困难,数据中台需要考虑将信息技术人员与业务人员之间的障碍打破,信息技术人员将数据变成业务人员可阅读、易理解的内容,业务人员看到内容后能够很快结合到业务中去,这样才能更好地支撑商业模式的创新。此外,数据中台提供标准的数据访问能力,简化集成复杂性、促进互操作性等特性也非常受企业CIO们的青睐。同时,在快速构建服务能力、加快商业创新、提升业务适配等方面,数据中台也将会发挥重要的作用。

    2、打破数据孤岛
    面对纷繁复杂而又分散割裂的海量数据,数据中台的突出作用和意义在于能充分利用内外部数据,打破数据孤岛的现状,打造持续增值的数据资产,在此基础上,能够降低使用数据服务的门槛,繁荣数据服务的生态,实现数据“越用越多”的价值闭环,牢牢抓住客户,确保竞争优势。这些服务跟企业的业务有较强的关联性,是这个企业独有的且能复用的,它是企业业务和数据的沉淀,其不仅能降低重复建设、减少烟囱式协作的成本,也是差异化竞争优势的所在。

    数据中台的意义和作用是将数据作为生产资料转化为数据生产力。在全球数据化时代,企业只有了解用户,在数据支撑的条件下不断创新,打破数据孤岛,才能在日益激烈的竞争中长期保持优势。

    数据中台建设的意义,市面上有哪些数据中台产品

    阿里云 DataWorks
    阿里云 DataPhin
    华为云 DAYU
    网易大数据
    Smartbi

    数据中台建设的意义,通用的数据应用:

    数据仓库
    企业资产门户
    BI报表平台
    数据可视化大屏
    数据网关

    展开全文
  • 按照今天信息技术发达程度,数据...在某些情况下,数据收集可能比数据挖掘更难、更有意义。不竟想起所谓“费米悖论(Fermi Paradox)”。1950年一天,诺贝尔奖获得者、物理学家费米在和别人讨论飞碟及外星人问题时...
  • 数据结构存在的意义

    2019-01-22 10:09:19
    在我们现实生活中,我们处理一件事情的时候,往往不只是处理单单的一个数据,也就是说你处理的是一个数据的集合体。...我们可以设想一个机器M ,M接受了a的数据,那么接下来就会需要b的数据(之所以会需要...
  • 大数据时代医疗大数据建设,主要以下几个意义: 1实现临床辅助决策,促进医院临床治疗智能化 医疗大数据建设借助大数据技术,能够分析医院积累大量临床数据,进而建立某类疾病分析模型和临床诊疗过程指标和...
  • 数据离散化的意义

    千次阅读 2017-12-19 11:24:42
    数据离散化是指将连续的数据进行分段,使其变为一段段离散化的区间。分段的原则基于等距离、等频率或优化的方法。数据离散化的原因主要以下几点: 1**.算法需要:** 比如决策树、朴素贝叶斯等算法,都是...
  • 我敢说,大家大部分遇不到这种问题,但是,,,我第二次遇到这个问题(手动哭),折磨到心塞,度娘无果,突然想到历史命令记录,扒拉那上千行命令,终于让我给找到了! 今个在新环境里面装flask-mysqldb时候...
  • 数据分析的意义和价值

    千次阅读 2020-09-07 15:20:19
    最近总同学们在网络上问大数据分析的意义和价值是什么,我找大数据分析培训课程老师深入了解了一下并拿来了一些干货,将这个问题分享出来,让大家不再疑惑大数据分析模样。  大数据分析提供了几乎无穷无尽...
  • 正确(或不正确)的数据管理将对企业的成功产生巨大影响。换句话说,它可以成败一个企业。  这就是原因,为了利用这些巨大的数据,无论大小,企业都在使用机器学习和深度学习等技术,以便他们可以建立有用的客户群...
  • 数据标准化方法与意义

    万次阅读 多人点赞 2017-07-01 16:28:54
    比如在SVM中处理分类问题是又是需要进行数据的归一化处理,不然会对准确率产生很大影响,具体点说,比如避免出现因为数值过大导致c,g取值超过寻优范围除此之外,最明显是在神经网络中影响,主要四个层面有利于...
  • 处理数据时,对数据取对数的意义

    万次阅读 2018-09-14 10:01:00
    之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要: 1. 缩小数据的绝对数值,方便计算。 例如,每个数据值都很大,许多这样值进行计算可能对超过...
  • 使用图标集显示数据的意义 选中数据 选择开始菜单栏中条件格式,接下来选择图标集。 -设置图标集。 如果特定要求则选择其他规则, 途中圈出来要根据自己需求进行更改,最后点击确定。 *这里我做是将...
  • 数据中台对企业意义和作用哪些

    千次阅读 2020-03-18 11:20:30
    那么数据中台对企业到底哪些具体意义和作用呢?下面我们来具体看一下。  1、了解客户观念和行为  在以客户为中心时代,客户观念和行为正在从根本上改变企业经营方式以及企业与客户互...
  • 学习过程中会对这些操作有些疑问,比如,数据分箱什么意义,WOE和IV值是干什么?这里对这些数据处理的意义进行一个说明。 数据分箱 数据分箱是把连续型数据分为几组,或者把离散数据中类别较多,进行重新...
  • 人曾经说过:“如果您无法测量某些东西,您将无法理解它。” 这种信念另一种说法是:“如果无法衡量,那就不存在。” 这是一种错误思维方式-一种谬论-实际上有时被称为麦克纳马拉谬论。 这种思维方式可能对...
  • 数据仓库的数据来源于不同的源数据,并提供多样的数据应用,数据自下而 上流入数据仓库后向上层开放应用,而数据仓库只是中间集成化数据管理的一个 平台。 l 源数据层(ODS): 此层数据无任何更改,直接沿用...
  • 数据取对数运算的意义

    千次阅读 2015-07-08 00:43:05
    之所以这样做是基于对数函数在其定义域内是单调增函数,取对数后不会改变数据的相对关系,取对数作用主要: 1. 缩小数据的绝对数值,方便计算。 例如,每个数据值都很大,许多这样值进行计算可能对...
  • 写得非常好非常详细sklearn特征选择文章,值得分享 特征选择 (feature_selection) 目录 特征选择 (feature_selection) Filter 1. 移除低方差特征 (Removing features with low vari...
  • 我们对数据进行分层一个主要原因就是希望在管理数据的时候,能对数据有一个更加清晰掌控,详细来讲,主要下面几个原因: 1.清晰数据结构:每一个数据分层都作用域,这样我们在使用表时候能更方便地...
  • TCP新手误区--数据校验的意义

    千次阅读 多人点赞 2017-07-15 23:00:11
    TCP新手误区–数据校验的意义背景最近面试了很多学生,发现很多TCP新手对于TCP使用一些误区,而这些坑也是当初我曾经疑惑过得地方。网上很少文章对这些问题过详细解析,即是也只是直接给出结论和...
  • 要说起学习数据结构的意义,不得不先说一下,CPU,内存,磁盘(硬盘或固态硬盘)。 首先,CPU中存储空间很小,基本可以忽略不计,(造价太贵),其次是内存(造价也很贵),再其次是磁盘(硬盘一般很大,因为造价...
  • 杂谈时间序列对数据差分的意义

    千次阅读 2019-10-09 20:35:48
    一阶差分后的确就是增量,这还比较好解释 ,而时候一阶差分都未必能达到平稳,此时还要做二阶差分,这个就很难解释意义了。 所以对于多变量时序 一般如果不平稳 我们会选择检验他们是否同阶单整然后在同阶单整...
  • TCP新手误区–数据校验的意义

    千次阅读 2020-01-06 14:21:36
    背景 最近面试了很多学生,发现很多TCP新手对于TCP使用一些误区,而这些坑也是当初我曾经疑惑过得地方。...我面试时经常会问一个问题是TCP如何保证数据的正确性,保证数据内容不会出错。大部分人...
  • 很多人会问数据分析目的是什么?它什么作用?让我们看看亿信华辰如何看待数据分析的目的和意义...检查未知分类或暂时未知分类的数据,目的是预测数据属于哪个类别或属于哪个类别。使用具有已知分类的相似数据来研究分
  • 数据结构的意义

    千次阅读 2006-11-26 17:35:00
    编程之道就如武学之道,VB,VC,delphi等开发工具技巧好比各门各派武功招式,算法和数据结构好比内功心法和武学原理。内力深厚,任何招式到了手上都能够化腐朽为神奇;掌握了武学原理,更能做到无招胜招。 
  • 最近在项目中动不动就报出 java.lang.OutOfMemoryError: Java heap space 经查是后台定时运行了若干线程处理数据,一些是从数据库一次性拉出来了近万条记录(以后会增加更多),在这里不考虑硬件和服务器设置,只...
  • 在公司的众多运营活动中,每天都会产生很多的数据,这些看似毫无有关的数据,通常可以具有深层次的紧密关系,关于公司的运营和发展策略的决议计划都会十分重要的作用和意义。随着大数据时代的来临,数据剖析已经...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 27,930
精华内容 11,172
关键字:

有意义的数据