数据来源

        $("#btn_search").click(function () {
            var gridHtml = "<table id=\"gridList\"></table><div id=\"gridPager\"></div>";
            $('#gridPanel').empty().append(gridHtml);
            //jqGrid多项汇总
            $("#gridList").jqGrid(
            'jqPivot',
            "GetASproblem_report?keyword=" + $("#txt_name").val(),
            {
                //x维
                xDimension: [
                  {
                      dataName: 'project_name',//项目名称
                      width: 400
                  }, {
                      dataName: 'problem_class',//问题类型
                      width: 150
                  }
                ],
                //Y维
                yDimension: [
                  {
                      dataName: 'status'//问题状态：解决中、已解决、新问题、未标注
                  }
                ],
                //汇总项
                aggregates: [
                  {
                      member: 'status_count',//问题各状态数量
                      aggregator: 'sum',//聚合器
                      width: 150,
                      formatter: 'number',
                      align: 'left',
                      summaryType: 'sum'//概要类型
                  }
                ],


                rowTotals: true,
                colTotals: true
            },
            {
                colModel: [
                { label: '项目名称', name: 'project_name', width: 400, align: 'center' },//列格式
                { label: '问题类型', name: 'problem_class', width: 150, align: 'center' },
                ],
                height: $(window).height() - 130,
                rowNum: 40,
                pager: "#gridPager",
                sortname: 'F_SortCode asc',
                viewrecords: true
            });
        });

    

【Excel】数据透视表—数据透视表布局

【Excel】数据透视表—标签合并居中

【Excel】数据透视表—新增一列（字段）

【Excel】数据透视表—按年、季度、月份汇总报表

【Excel】数据透视表—简单数据分析实例

数据透视表的功能就是汇总分析，但是在列名中会出现值汇总的依据。比如：求和项，计数项，平均值项等

                                                       

有时候强迫症来了就想把这几个字给删除掉。但是，直接通过值字段设置来删除名称是删除不了的，会提示下面的错误。 

                                                                 

但是可以通过重命名整个列的名称来删除求和项。在这儿，我们把【求和项：数量】重命名为了【商品数量】

                                                          

如果不想重命名列名，只是想删除这几个字。这个时候我们可以使用查找替换，将值汇总方式替换为空格。

                                        

这样就可以成功去掉值汇总依据了。 

                                                       

文章目录
数据挖掘习题汇总
一 数据挖掘概述
二 认识数据
三 数据预处理
四 分类基础
五 决策树与链接分析
六 随机过程与抽样
七 聚类基础
八 高级聚类方法
九 频繁模式挖掘基础
十 频繁模式挖掘进阶和关联规则
十二 群体智能挖掘
十三 集成挖掘
十四 复杂类型数据挖掘

数据挖掘习题汇总
一 数据挖掘概述

数据与知识的区别与联系?

数据: 指描述事物的符号记录, 它涉及到事物的存在形式, 是关于事物的一组离散且客观的事实描述。
知识: 反映各种事物的信息进入人们大脑，对神经细胞产生作用后留下的痕迹
联系和区别: 通过数据可以推导出知识, 比如我们可以通过一系列出售数据推导出这个商店是卖什么的(是否正确地运用知识对数据做出解释，以得到准确的信息)


列举几项你知道的数据挖掘应用, 并论述数据挖掘在其中的作用?

传感数据(卫星, 位传感器)
天体/空间物理数据
生物/化学数据(基因序列, 分子结构)
…


数据挖掘方法过程是什么?

挖掘前(数据清理, 变换, 归约, 采样, 统计, 预计算)
关键方法:

分类预测
聚类分析
孤立点分析
趋势和演变分析




数据挖掘与统计的区别与联系?

有大量数据的地方就需要数据挖掘
统计是初级阶段, 挖掘是进阶
数据挖掘是多学科交叉, 统计学只是其中的一部分


数据挖掘与数据管理的区别与联系?

只有经过一定的数据管理过程才能让数据挖掘出来的信息更有价值?..



二 认识数据

数据属性有哪些类别?不同类别的属性有哪些作用?

标称属性: 就是用来描述一类事物的, 一般用来分类。
二元属性: 就是0或者1
序数属性: 就是属性之间有顺序的 如讲师, 副教授, 教授
数值属性: 定量的, 分为区间标度属性和比例标度属性
ps. 标称, 二元, 序数是定性的, 数值是定量的


如何对属性的区间标度变量和二元变量进行相似度度量?

区间标度变量
相似度度量


基本统计描述有哪些?

总量描述
中心趋势描述(均值, 中位数, 众数, 中列数)
相对描述
变异描述(指标变异越大, 平均数的代表性越小;指标变异越小, 平均数代表性越大)


基本统计描述该如何使用?

会算不等于会用
首先理解各个指标代表的意义
进行相关分析, 找到变量之间的关联关系
进行回归分析, 通过一般关系推导数学模型, 通过已知变量推导未知变量


为什么需要进行数据可视化?

借助图形化的手段, 清晰有效的传达和沟通信息


数据可视化的七个阶段是什么?

获取
分析
过滤
挖掘
表达
修饰
交互


数据可视化解决的重点问题是什么?

数据来源
数据结构
关注信息
分析处理
视觉模型
清晰易读
操作控制



三 数据预处理

数据预处理的作用?

在数据进行处理前进行的一些操作
现实世界中通常无法直接对原始数据进行挖掘或者结果差强人意, 为了提高数据挖掘质量我们需要进行数据预处理, 将数据处理成更加符合预期的数据。


什么是ETL?ETL包括哪些步骤?

ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程。是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。


数据质量问题包含哪些?由什么原因导致?

数据质量
数据质量原因




ETL的常见问题包含哪些?

字符集问题
缓慢变化维处理
增量, 实时同步的处理
错误数据的检测
变化数据的捕获
抽取异常中止的处理


数据库和数据仓库的区别?


NoSql数据模型有哪些?与SQL模型相比, 有什么区别和联系, 各有什么优劣?

键值对模型如(redis, MemcacheDB等)
文档模型(如 xml, json, mongoDB等)
列族模型(如 hbase, amazon simpleDB等)
图模型(如 neo4J)
SQL和No-SQL的关系区别


常见的数据预处理方法有哪些?分别如何处理?

数据清洗
数据集成与变换
数据归约
离散化和概念分层


TF-IDF算法是什么, 有什么实际意义?

算法过程
数学含义



四 分类基础

概念描述和OLAP的区别是什么?

OLAP联机分析处理，是数据仓库的核心，是对OLTP的历史数据进行加工，分析处理，用于处理商业智能，决策支持等重要的决策信息


概念描述方法有哪些?

数据泛化
解析特征
挖掘类比较


什么是分类, 什么是有指导/无指导学习?

分类就是将样本按照不同特征分为不同类别
有指导学习: 模型的学习在被告知每个训练样本属于哪个类的指导下进行
无指导学习: 模型不知道训练样本属于哪个类, 聚类是典型的无指导学习


什么是决定性现象, 什么是不确定现象?

决定性现象: 就是不是0就是1的现象, 如水到100度必然沸腾, 筛子不可能到8点
不确定现象: 在基本条件保持不变的情况下, 一系列的实验会得到不同的结果。


什么是随机试验, 样本空间, 样本点, 随机事件, 复合事件, 必然事件, 不可能事件?




事件间的关系有哪些?

事件间关系


概率与频率的区别与联系?

在试验次数足够多的情况下, 频率趋近于概率


概率有哪些基本性质?

基本性质


什么是古典概率?
什么是条件概率?条件概率有哪些性质?




什么是乘法定理?


条件概率与无条件概率有什么关系?


条件概率与积事件概率有什么关系?


什么是全概率公式?


什么是贝叶斯公式, 贝叶斯公式有什么作用, 有哪些局限性?




什么是朴素贝叶斯分类?

就是贝叶斯中特征都是独立存在的?




什么是贝叶斯网络? 贝叶斯网络和朴素贝叶斯有什么区别和联系?



区别和联系





五 决策树与链接分析

什么是决策树?


决策树有什么用?


决策树生成方法有哪些?各有什么特点?

决策树生成方法




如何对决策树进行剪枝?

前期修剪
后期修剪


为什么要进行规则提取?如何进行规则提取?

很多规则有可能冗余?


决策树的进一步策略有哪些?

纯度计算
错误率计算
多属性组合分类


什么是图?

对象(节点) 及 对象间关系(边)的一种直观展示




如何计算图的最短路径?

图的几种最短路径算法


Pagerank, 漏斗模型, 关键路径, 矩阵分析有哪些作用?

pagerank: 就是根据不同网页间链接的出度入度数量 判断网页权重
漏斗模型: 自顶而下, 逐层反应各个流程的数量和比例便于分析流失原因和转化率
关键路径: 顶点表示事件, 弧表示活动, 弧上权值表示活动持续时间, 用来预估工程时间(关键路径算法)
矩阵分析: 表示两个因素之间的关联关系?



六 随机过程与抽样

什么是马尔科夫模型?什么是转移概率?什么是C-K方程?




什么是HMM, HMM的三大问题是什么?
HMM三大问题的求解算法是什么?
什么叫抽样?抽样都有哪些?如何抽样?

七 聚类基础

什么是聚类?


聚类有什么用?
聚类和分类有什么区别和联系?
划分聚类的算法思想, 过程, 优点, 缺点和可拓展点有哪些?




点与点, 点与类, 类与类的距离计算方法有哪些?




聚类评估典型任务有哪些, 思想分别是什么, 有哪些典型的计算方法?

八 高级聚类方法

密度聚类的核心概念 算法思想 过程 优点 缺点?
网格聚类的核心概念 算法思想 过程 优点 缺点?
图聚类的核心概念 算法思想 过程 优点 缺点?
什么是离群点?
离群点检测有什么意义?
离群点检测方法有哪些?

九 频繁模式挖掘基础

什么是频繁模式?
频繁模式相关基本概念有哪些?
支持度和置信度的计算和作用?
什么是关联规则?
频繁模式挖掘有哪些作用?
Apriori方法的思想 过程 优点 缺点是什么 改进方法有哪些?
什么是频繁图?
如何挖掘频繁图?

十 频繁模式挖掘进阶和关联规则

如何进行频繁序列挖掘?
如何生成关联规则?
FP-Tree方法是什么 如何挖掘FP-Tree?
什么是多层关联规则?
为什么进行模式评估?
如何判断相关性 如何计算兴趣度?

十二 群体智能挖掘

遗传学算法的生物学基础/算法思想/基本过程?
蚁群算法的生物学基础/算法思想/基本过程?
人工蜂群算法的生物学基础/算法思想/基本过程?
人工神经网络算法的生物学基础/算法思想/基本过程?

十三 集成挖掘

bagging和boosting机制分别是什么, 有什么异同点?
Bandit策略是什么?
随机森林算法基本思路是什么?
GBDT算法基本思路?
adaboost算法基本思路?

十四 复杂类型数据挖掘

什么是模糊集, 模糊计算有什么性质?
如何进行模糊统计?
什么是模糊矩阵, 模糊矩阵如何运算?
如何进行模糊聚类, 如何进行模糊分类?
空间数据和序列数据有什么特点?
空间挖掘与序列挖掘与普通挖掘方法有什么区别和联系?
序列有哪些种, 判别方法有哪些?
什么是GMM, GMM求解算法是什么?

前言
本文首发于公众号【3D视觉工坊】，原文请见汇总|医学图像数据集，更多干货获取请关注公众号~
一、 胰腺分割数据集
数据下载链接：http://academictorrents.com/details/80ecfefcabede760cdbdf63e38986501f7becd49

数据介绍：包含82个病例的胰腺数据集。
二、MICCAI胰腺分割数据集
数据下载链接：http://medicaldecathlon.com/

数据介绍：282个训练病例，139个测试病例，同时分割胰腺和肿瘤，测试集label是hidden的。
三、The National Library of Medicine presents MedPix
数据下载链接：https://medpix.nlm.nih.gov/home

数据介绍：MedPix®是一个免费的开放式在线访问数据库，其中包含医学图像，教学案例和临床主题，集成了图像和文本元数据，包括12,000多个患者案例，9,000个主题和近59,000个图像。我们的主要目标受众包括医师和护士，专职医疗人员，医学生，护理生以及其他对医学知识感兴趣的人。内容材料按疾病位置（器官系统）组织；病理类别患者资料；以及通过图像分类和图像标题。该集合可按患者症状和体征，诊断，器官系统，图像形式和图像描述，关键字，特约作者和许多其他搜索选项进行搜索。
四、阿尔茨海默氏病神经影像数据
数据下载链接：http://adni.loni.usc.edu/data-samples/access-data/

数据介绍：阿尔茨海默氏病患者和健康对照的MRI数据库。 还具有临床，基因组和生物制造商数据。


五、结肠癌CT数据
数据下载链接：https://wiki.cancerimagingarchive.net/display/Public/CT+COLONOGRAPHY#dc149b9170f54aa29e88f1119e25ba3e

数据介绍：CT扫描诊断结肠癌。 包括没有息肉，6-9mm息肉和大于10mm息肉的患者的数据。 该系列中有825例带有XLS片的病例，提供了息肉描述及其在结肠段中的位置。




六、用于视网膜提取的数字视网膜图像
数据下载链接：https://www.isi.uu.nl/Research/Databases/DRIVE/download.php

数据介绍：用于视网膜图像中血管分割的比较研究，它由40张照片组成，其中7张显示出轻度早期糖尿病性视网膜病变的迹象。




七、AMRG Cardiac Atlas（心脏MRI图像）
数据下载链接：http://www.cardiacatlas.org/studies/amrg-cardiac-atlas/

数据介绍：奥克兰MRI研究小组的Siemens Avanto扫描仪采集的正常患者心脏的完整带标签MRI图像集。




八、先天性心脏病（CHD）图集
数据下载链接：https://data.gov.uk/dataset/f13fbd0e-fc8a-4d42-82ef-d40f930e4b70/congenital-heart-disease-chd

数据介绍：先天性心脏病（CHD）图集代表来自患有各种先天性心脏病的成年人和儿童的MRI数据集，生理临床数据和计算机模型。
九、大脑MRI数据集
数据下载链接：http://www.oasis-brains.org/
数据介绍：OASIS影像研究开放获取系列（OASIS）是一个旨在向科学界免费提供大脑的MRI数据集的项目。有两个数据集：横截面和纵向集。年轻，中年，非痴呆和痴呆老年人的横断面MRI数据：此集合包括416名18至96岁的受试者的横断面集合。非痴呆和痴呆老年人的纵向MRI数据：该组纵向收集了150名年龄在60至96岁之间的受试者。两次或两次以上就诊时对每个受试者进行了扫描，相隔至少一年，共进行373次成像。


十、Isic Archive（黑色素瘤）
数据下载链接：https://github.com/GalAvineri/ISIC-Archive-Downloader

数据介绍：该档案库包含分类皮肤损伤的23k图像。 它包含了恶性和良性的例子。每个示例均包含病变的图像，有关病变的元数据（包括分类和分割）以及有关患者的元数据。


十一、森尼布鲁克心脏数据
数据下载链接：http://www.cardiacatlas.org/studies/
数据介绍：Sunnybrook心脏数据（SCD）也称为2009心脏MR左心室分割挑战数据，由来自以下患者和病理混合的45幅cine-MRI图像组成：健康，肥大，伴有梗塞和心脏的心力衰竭。


十二、肺部图像数据库联盟（LIDC）
数据下载链接：https://wiki.cancerimagingarchive.net/display/Public/LIDC-IDRI#
数据介绍：肺图像数据库联合会图像收集（LIDC-IDRI）包括诊断性和肺癌筛查性胸部X线断层扫描（CT）扫描，并标明带注释的病变。 它是可通过网络访问的国际资源，用于开发，培训和评估用于肺癌检测和诊断的计算机辅助诊断（CAD）方法。 由美国国立癌症研究所（NCI）发起，并由美国国立卫生研究院（FNIH）基金会进一步推动，并在食品药品监督管理局（FDA）的积极参与下，这种公私合作伙伴关系证明了一项成功的研究成果。


十三、INbreast：数字化乳腺摄影数据库
数据库下载链接：http://medicalresearch.inescporto.pt/breastresearch/index.php/Get_INbreast_Database
数据库介绍：INbreast数据库是一个乳腺摄影数据库，其中的图像是从位于大学医院（葡萄牙波尔图的乳腺癌中心，圣若昂医院）的乳腺癌中心获取的。 INbreast共有115例（410幅图像），其中90例来自双乳女性（每例4幅图像），而25例来自乳房切除术患者（每例2幅图像）。 包括几种类型的病变（肿块，钙化，不对称和变形）。 专家还以XML格式提供了精确的轮廓。
十四、前列腺癌数据集
数据下载链接：http://www.ehealthlab.cs.ucy.ac.cy/index.php/facilities/32-software/218-datasets
数据介绍：

1、图像格式：关于数据集的某些技术方面，T2-W MRI，DCE MRI和DWI MRI，ADC将以DICOM格式交付。

2、关于MRSI数据将以RDA（西门子）或DICOM（GE）格式提供。

3、以DICOM格式提供每种形式的所有地面真实图像。
Ground Truth：

对于每种方式，都提供了一组Ground Truth。GT由四个不同类别组成：（i）前列腺，（ii）边缘区（PZ），（iii）中央腺体（CG），（iv）CaP。
十五、SCR数据库（胸部X光片中的分割）
数据下载链接：http://www.isi.uu.nl/Research/Databases/SCR/
数据介绍：所有胸部X光片均取自JSRT数据库，这是一个公开可用的数据库，其中包含247张PA胸片。在每幅图像中，都对肺野，心脏和锁骨进行了手动分割，以提供参考标准。