数据挖掘其实是一种深层次的数据分析方法。数据挖掘可以描述为：按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。
 应用的技术包括：数据库技术、人工智能技术、数理统计、可视化技术、并行计算等方面。
 
数据挖掘与传统的数据分析（如查询、报表、联机应用分析）的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先知，有效和可实用三个特征。
 
数据挖掘的目标是
 从数据库中发现隐含的、有意义的知识，主要有以下五类功能。
     1.自动预测趋势和行为数据挖掘自动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。
 
    2.关联分析数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。
 
    3.聚类数据库中的记录可被划分为一系列有意义的子集，即聚类。
 
    4．概念描述就是对某类对象的内涵进行描述，并概括这类对象的有关特征。概念描述分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述不同类对象之间的区别。
 
    5.偏差检测数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。
 
  数据挖掘技术包括关联分析、序列分析、分类、预测、聚类分析及时间序列分析等。
 
  1.关联分析主要用于发现不同事件之间的关联性，即一个事件发生的同时，另一个事件也
 经常发生。关联分析的重点在于快速发现那些有实用价值的关联发生的事件。其主要依据是
 事件发生的概率和条件概率应该符合一定的统计意义。
 
2．序列分析
 序列分析技术主要用于发现一定时间间隔内接连发生的事件。这些事件构成一个序列，发现的序列应该具有普遍意义，
 
3．分类分析
 分类分析通过分析具有类别的样本的特点，得到决定样本属于各种类别的规则或方法。
 主要方法有基于统计学的贝叶斯方法、神经网络方法、决策树方法及支持向量机。
 
4．聚类分析
 聚类分析是根据物以类聚的原理，将本身没有类别的样本聚集成不同的组，并且对每一个这样的组进行描述的过程。其主要依据是聚到同一个组中的样本应该彼此相似，而属于不同组的样本应该足够不相似。
 
5．预测
 预测与分类类似，但预测是根据样本的已知特征估算某个连续类型的变量的取值的过程，
 而分类则只是用于判别样本所属的离散类别而已。预测常用的技术是回归分析。
 
6．时间序列
 分析时间序列分析的是随时间而变化的事件序列，目的是预测未来发展趋势，或者寻找相似发展模式或者是发现周期性发展规律。
 
数据挖掘的流程大致如下：
 
 
1．问题定义在开始数据挖掘之前，最先的也是最重要的要求就是熟悉背景知识，弄清
 用户的需求。缺少了背景知识，就不能明确定义要解决的问题，就不能为挖掘准备优质的数
 据，也很难正确地解释得到的结果。要想充分发挥数据挖掘的价值，必须对目标有一个清晰
 明确的定义，即决定到底想干什么。
 
2．建立数据挖掘库
 要进行数据挖掘必须收集要挖掘的数据资源。一般建议把要挖掘的数据都收集到一个数
 据库中，而不是采用原有的数据库或数据仓库。这是因为大部分情况下需要修改要挖掘的数
 据，而且还会遇到采用外部数据的情况；另外，数据挖掘还要对数据进行各种纷繁复杂的统
 计分析，而数据仓库可能不支持这些数据结构。
 3．分析数据
 分析数据就是通常所进行的对数据深入调查的过程。从数据集中找出规律和趋势，用聚
 类分析区分类别，最终要达到的目的就是搞清楚多因素相互影响的、十分复杂的关系，发现
 因素之间的相关性。
 4．调整数据
 通过上述步骤的操作，对数据的状态和趋势有了进一步的了解，这时要尽可能对问题解
 决的要求能进一步明确化、进一步量化。针对问题的需求对数据进行增删，按照对整个数据
 挖掘过程的新认识组合或生成一个新的变量，以体现对状态的有效描述。
 5．模型化在问题进一步明确，数据结构和内容进一步调整的基础上，就可以建立形成知识的模型。
 这一步是数据挖掘的核心环节，一般运用神经网络、决策树、数理统计、时间序列分析等方
 法来建立模型。
 6．评价和解释
 上面得到的模式模型，有可能是没有实际意义或没有实用价值的，也有可能是其不能准
 确反映数据的真实意义，甚至在某些情况下是与事实相反的，因此需要评估，确定哪些是有
 效的、有用的模式。评估的一种办法是直接使用原先建立的挖掘数据库中的数据来进行检验，
 另一种办法是另找一批数据并对其进行检验，再一种办法是在实际运行的环境中取出新鲜数
 据进行检验

数据模型所描述的内容包括三个部分：数据结构、数据操作、数据约束。
 
  1）数据结构:数据模型中的数据结构主要描述数据的类型、内容、性质以及数据间的联系等。数据结构是数据模型的基础，数据操作和约束都建立在数据结构上。不同的数据结构具有不同的操作和约束。
 
2）数据操作:数据模型中数据操作主要描述在相应的数据结构上的操作类型和操作方式。
 
3）数据约束：数据模型中的数据约束主要描述数据结构内数据间的语法、词义联系、他们之间的制约和依存关系，以及数据动态变化的规则，以保证数据的正确、有效和相容。
 
数据模型按不同的应用层次分成三种类型：分别是概念数据模型、逻辑数据模型、物理数据模型。
 
1、概念数据模型（Conceptual Data Model）：简称 概念模型 ，主要用来描述世界的概念化结构，它使数据库的设计人员在设计的初始阶段，摆脱计算机系统及DBMS的具体技术问题，集中精力分析数据以及数据之间的联系 等，与具体的数据管理系统（Database Management System，简称DBMS）无关。概念数据模型必须换成逻辑数据模型，才能在DBMS中实现。
 
概念数据模型是最终用户对数据存储的看法，反映了最终用户综合性的信息需求，它以数据类的方式描述企业级的数据需求，数据类代表了在业务环境中自然聚集成的几个主要类别数据。
 
概念数据模型的内容包括重要的 实体及实体之间的关系 。在概念数据模型中 不包括实体的属性 ，也 不用定义实体的主键 。这是概念数据模型和逻辑数据模型的主要区别。
 
概念数据模型的目标是统一业务概念，作为业务人员和技术人员之间沟通的桥梁，确定不同实体之间的最高层次的关系。
 
在有些数据模型的设计过程中，概念数据模型是和逻辑数据模型合在一起进行设计的。
 以下是概念模型图显示方式 
 

 2、逻辑数据模型（Logical Data Model）:简称数据模型，这是用户从数据库所看到的模型，是具体的DBMS所支持的数据模型，如网状数据模型(Network Data Model)、 层次数据模型 (Hierarchical Data Model)等等。 此模型既要面向用户，又要面向系统 ，主要用于 数据库管理系统 （DBMS）的实现。
 
逻辑数据模型 反映的是系统分析设计人员对数据存储的观点，是对概念数据模型进一步的分解和细化。 逻辑数据模型是根据业务规则确定的，关于业务对象、业务对象的数据项及业务对象之间关系的基本蓝图。
 
逻辑数据模型的 内容包括所有的实体和关系，确定每个实体的属性，定义每个实体的主键，指定实体的外键，需要进行范式化处理。
 
逻辑数据模型的目标是尽可能详细的描述数据，但并不考虑数据在物理上如何来实现。
 
逻辑数据建模不仅会影响数据库设计的方向，还间接影响最终数据库的性能和管理。如果在实现逻辑数据模型时投入得足够多，那么在物理数据模型设计时就可以有许多可供选择的方法。
 逻辑模型图显示 
  
 3、物理数据模型（Physical Data Model）:简称 物理模型 ，是面向计算机物理表示的模型，描述了数据在储存介质上的组织结构，它不但与具体的DBMS 有关，而且还与操作系统和硬件有关。每一种逻辑数据模型在实现时都有起对应的物理数据模型。DBMS为了保证其独立性与可移植性，大部分物理数据模型的实 现工作又系统自动完成，而设计者只设计索引、聚集等特殊结构。
 物理结构图显示
   
 在概念数据模型中最常用的是 E-R模型 、扩充的E-R模型、面向对象模型及谓词模型。在逻辑数据类型中最常用的是 层次模型 、 网状模型 、 关系模型 。    
 
物理数据模型是在逻辑数据模型的基础上，考虑各种具体的技术实现因素，进行数据库体系结构设计，真正实现数据在数据库中的存放。
 
物理数据模型的内容包括确定所有的表和列，定义外键用于确定表之间的关系，基于用户的需求可能进行发范式化等内容。在物理实现上的考虑，可能会导致物理数据模型和逻辑数据模型有较大的不同。
 
物理数据模型的目标是指定如何用数据库模式来实现逻辑数据模型，以及真正的保存数据。

最近，我和一位同事合作设计数据库表。我们在设计好各个表之后，需要将表的基本信息记录下来，发给同项目组的同事参阅和评审。最开始，我们不是很清楚如何来描述每张表的信息。通过与大家商量之后，我们认为通过如下格式描述数据库表的基本信息比较恰当。本文可供有类似需求的开发人员参考。
要比较完整地描述一张数据表，需要交代清楚这五个部分：总体说明、版本说明、表结构说明、建表脚本、初始化语句。以下以员工信息表为例加以说明：


1. 总体说明(表存放数据说明，哪些模块使用)
员工信息表tb_employeeinfo，通过此表可定义每个员工在数据库中存储的基本信息。
使用模块：员工信息存储及处理模块。
 
2. 版本说明(在哪个基线的哪个版本上增加，谁增加的)
XXX在V1.01.01版本基础之上增加。
 
3. 表结构说明(必须标明那个字段是主键)
                                                               员工信息表tb_employeeinfo

 
字段名称
数据类型
是否可空
字段描述
employeeno
varchar2(20)
N
员工工号，在此字段上建立唯一索引
employeename
varchar2(50)
N
员工姓名
employeeage
int
N
员工年龄
employeeaddr
varchar2(100)
Y
员工地址

 
4. 建表脚本(基于OEACLE数据库实现)


 
begin
execute immediate 'DROP TABLE tb_employeeinfo CASCADE CONSTRAINTS';
EXCEPTION WHEN OTHERS THEN NULL;
end;

/
create table tb_employeeinfo
(
    employeeno   varchar2(20)     not null,     -- employee no
    employeename varchar2(50)     not null,     -- employee name
    employeeage  int              not null,     -- employee age
    employeeaddr varchar2(100)        null      -- employee address
);
create unique index idx1_tb_employeeinfo on tb_employeeinfo(employeeno);

prompt 'create table tb_employeeinfo ok';
commit;



 



5. 初始化语句
初始时只存储一个员工的信息，初始语句如下：


 
insert into tb_employeeinfo(employeeno, employeename, employeeage, employeeaddr) values('20150410160500', 'ZhouXiong', 20, 'ChongQing, China');





 

数据挖掘一般可分为描述型数据挖掘和预测型数据挖掘，概念描述讲的就是描述型数据挖掘。
 
一、概念描述基本知识
 
1.1 两种类型的数据挖掘
 
从数据分析角度出发，数据挖掘可分为两种类型：
 
描述型数据挖掘：以简洁概要方式描述数据
预测型数据挖掘：预测性数据挖掘则是通过对所提供数据集应用特定方法分析所获得的一个或一组数据模型，并将该模型用于预测未来新数据的有关性质。
 
1.2 概念描述
 
描述型数据挖掘又称为概念描述，概念描述是数据挖掘的一个重要部分。描述型数据挖掘最简单的类型就是概念描述。概念描述描述的是数据的特征和比较描述：
 
特征描述：给定数据集的简洁汇总
比较描述：多用于两个或多个数据集
 
数据泛化也是一种概念描述，这类似于数据仓库中的OLAP，但两者之间也是有区别的：
 
复杂的数据类型和聚集：概念描述可以处理更加复杂的数据类型属性和他们的聚集
用户控制和自动处理：OLAP多是用户的控制和操作，而数据挖掘中的概念描述更努力成为自动化的过程，具备自动知识发现的能力，要远远复杂的多
 
二、特征描述
 
数据泛化也是一种特征描述。数据泛化的概念：它是一个过程，它将庞大、任务相关的数据集从较低的概念层次抽象到较高的概念层次。具体泛化方法有两类：
 
数据立方：类似OLAP
面向属性的归纳
 
数据泛化是非常有用的，举个例子：一个销售系统中的数据库中商品项目可能由诸如itemid,name,brand,price,category,place-made等低层次的属性构成，但销售和市场经理都希望得到在圣诞节期间大量商品基本信息的汇总描述来获得一些信息。
 
2.1 面向属性的归纳
 
面向属性归纳的基本思想是：首先使用关系数据库查询收集任务相关数据，然后通过观察任务相关数据中每个属性的不同值的个数进行泛化。泛化可以通过属性删除，或者通过属性泛化进行。
 
2.1.1 收集任务相关数据
 
通过数据挖掘查询或者关系查询获取相关数据，假设我们有如下关系查询语句：
 
use Big_university_DB
select name,gender,major,birth_place,birth_date,residence,phone,gpa
from student
where status in {"M.Sc","M.A","M.B.A","Ph.D"}
 
把词语在关系数据库中执行，返回如下表所示数据。该表一般被称作初始工作表，是要进行归纳的数据。
 
name
gender
major
birth_place
birth_date
redidence
phone
gpa
Jim
M
CS
Vancouver,BC,Canada
76-12-8
3511,Main St,Richmand
687-4598
3.67
Scott
M
CS
Montreal,Que,Canada
75-7-28
345,IstSt,Vancouver
253-9106
3.70
Lee
F
Physics
Seattle,WA,USA
70-8-25
231,Austin,Burnaby
420-5232
3.83
 
数据已经准备好，下面就开始进行属性归纳，面向属性归纳的基本操作是数据泛化，它有两种方法：属性删除
 
2.1.2 属性删除
 
顾名思义，属性删除就是删除我们不需要的数据。我们基于如下规则盘点是否采用属性删除方法：如果初始工作表中某个属性有大量不同的值，(1)但是在此属性上没有泛化操作符；或者(2)它的较高层概念可以用其它属性表示，该属性应当从工作关系表中删除。
 
举个例子，对于情况1，因为它没有泛化操作符，就意味着它不能被泛化，保留它则与产生简洁的描述规则相矛盾，比如初始工作表中的姓名字段。对于情况2，比如属性street可以被较高的属性city表示，所以删除city属性。
 
2.1.3 属性泛化
 
属性泛化基于如下规则：如果初始工作表中某个属性有大量不同的值，并且该属性上存在泛化操作符，则应当选择该泛化操作符，并将它用于该属性。
 
2.1.4 属性泛化控制
 
属性删除和属性泛化两个规则都表明，如果某个属性存在大量的不同取值，就应当进一步泛化，那多大才算是大？这个控制过程我们就称作属性泛化控制。有一些方法可以控制泛化的过程，下面介绍两种常用的方法：
 
属性泛化阈值控制，对所有属性设置一个泛化阈值，或对每个属性设置一个泛化阈值，如果属性不同值个数大于这个阈值，就应当进一步进行属性删除或泛化。
泛化关系阈值控制，如果泛化关系中不同元组的个数超过该阈值，则应当进一步泛化。
 
2.1.5 面向属性归纳实例
 
现在，我们就对上面的初始工作表中的每个属性进行泛化，泛化过程如下：
 
name：由于name存在大量不同的值，并且没有泛化操作符，删除之。
gender：只有两个不同值，保留，无需泛化。
major：假设major数量有20，属性泛化阈值为5，并且已定义了一个向上攀升的概念分层{arts，engineering，business}，则对major进行泛化。
birth_place：有大量不同取值，应当泛化。可以将birth_place属性删除，泛化到birth_country。
birth_date：泛化到age。
resident：可以泛化到resident_country，像是的概念层次的number,street可以删除。
phone：从泛化中删除。
gpa：存在概念分层，可以泛化到{excellent,very good,…} 
 所泛化过程将产生相等元组的组。例如，初始工作表中前两个元组被泛化成相同的元组（即第一个元组），这些相同的元组被合并成一个，同时累计它们的计数值，这一过程最终得到如下泛化关系表：
 
gender
major
birth_country
age_range
redidence_city
gpa
count
M
Science
Canada
20
Richmon
verygood
1
M
Science
Canada
20
Vancouve
verygood
2
F
engineer
USA
25
Burnaby
excellent
2
 
2.2 数据泛化的导出表示
 
二维表
3d交叉表
条形图、饼形图
数据方
 
三、解析特征：属性相关性分析
 
有时候我们很难确定哪些属性应当纳入类特征或类比较中，我们可以借助某些属性相关分析方法来识别不相关或者弱相关属性。
 
3.1 为什么要进行属性分析
 
我们已经在上面介绍过，数据仓库和OLAP工具有两个局限性：处理复杂对象和泛化过程难以自动化。
 
对用户来说，确定哪些维应当纳入到类特征分析中并不是一件很容易的事，数据关系通常有很多属性(多的有成百上千个)，对于有效的数据挖掘，应当选择哪些属性或维，用户所知甚少。另一方面，用户也可能包含了太多的分析属性。
 
所以我们应当引进一些方法进行属性相关性分析，以过滤统计不相关或弱相关属性，保留对手头挖掘任务最相关的属性。包含属性/维相关性分析的类特征成为解析特征，包含这种分析的类比较成为解析比较。
 
3.2 属性相关分析的方法
 
关于属性相关分析，在机器学习、统计、模糊和粗糙集理论等方面都有很多研究。属性相关分析基本思想是计算某种度量，用于量化属性与给定类或概念的相关性。这种度量包括信息增益、Gini索引、不确定性和相关系数。