大数据相较于传统数据的特点可以概括为：数据量“大”、数据类型“复杂”和数据价值“无限”。
 
（1）数据量“大”
 1MB=1024KB
 1GB=1024MB
 1TB=1024GB
 1PB=1024TB
 
那么大数据究竟有多“大”呢？举个例子，1KB=512个汉字，1MB=六本红楼梦的字数。淘宝网在2015年3月每天大约能产生7TB的数据量，相当于4000万本图中红楼梦的数据量。淘宝需要分析这些大数据，才能给用户推荐他们可能购买的物品。
 
（2）数据类型“复杂”
 传统数据更注重于对象的描述,而大数据更倾向于对数据过程的记录。
 举个例子，以下两张表格是一家餐馆的线下点单记录。
 第一张表使用传统数据记录方式，第二张表使用大数据记录方式。
 这样能更直观地看出大数据的数据类型更复杂。
 
 
 
（3）数据价值“无限”
 1、传统数据的价值体现在信息传递与表征，是对现象的描述与反馈，让人通过数据去了解数据。
 2、而大数据是对现象发生过程的全记录，通过数据不仅能够了解对象，还能分析对象，掌握对象运作的规律，挖掘对象内部的结构与特点，甚至能了解对象自己都不知道的信息。
 
还是以上面的两张表为例，从第一张表我们可以了解小谢吃了什么，从第二张表我们除了得到表上的信息，还可以从中分析出到更多的信息。
 如：小谢可能住在店的附近，因为他是走着来的；中午店里生意可能很好，因为中午上菜很慢；小谢很爱嗦粉，嗦粉还挺快，每次花10分钟左右；小谢可能很喜欢A2座位，每次来都坐A2。等等。
 
PS：本文的编写借鉴了此篇文章https://blog.csdn.net/broadview2006/article/details/54708767。

数据挖掘其实是一种深层次的数据分析方法。数据挖掘可以描述为：按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。
 应用的技术包括：数据库技术、人工智能技术、数理统计、可视化技术、并行计算等方面。
 
数据挖掘与传统的数据分析（如查询、报表、联机应用分析）的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先知，有效和可实用三个特征。
 
数据挖掘的目标是
 从数据库中发现隐含的、有意义的知识，主要有以下五类功能。
     1.自动预测趋势和行为数据挖掘自动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。
 
    2.关联分析数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。
 
    3.聚类数据库中的记录可被划分为一系列有意义的子集，即聚类。
 
    4．概念描述就是对某类对象的内涵进行描述，并概括这类对象的有关特征。概念描述分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述不同类对象之间的区别。
 
    5.偏差检测数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。
 
  数据挖掘技术包括关联分析、序列分析、分类、预测、聚类分析及时间序列分析等。
 
  1.关联分析主要用于发现不同事件之间的关联性，即一个事件发生的同时，另一个事件也
 经常发生。关联分析的重点在于快速发现那些有实用价值的关联发生的事件。其主要依据是
 事件发生的概率和条件概率应该符合一定的统计意义。
 
2．序列分析
 序列分析技术主要用于发现一定时间间隔内接连发生的事件。这些事件构成一个序列，发现的序列应该具有普遍意义，
 
3．分类分析
 分类分析通过分析具有类别的样本的特点，得到决定样本属于各种类别的规则或方法。
 主要方法有基于统计学的贝叶斯方法、神经网络方法、决策树方法及支持向量机。
 
4．聚类分析
 聚类分析是根据物以类聚的原理，将本身没有类别的样本聚集成不同的组，并且对每一个这样的组进行描述的过程。其主要依据是聚到同一个组中的样本应该彼此相似，而属于不同组的样本应该足够不相似。
 
5．预测
 预测与分类类似，但预测是根据样本的已知特征估算某个连续类型的变量的取值的过程，
 而分类则只是用于判别样本所属的离散类别而已。预测常用的技术是回归分析。
 
6．时间序列
 分析时间序列分析的是随时间而变化的事件序列，目的是预测未来发展趋势，或者寻找相似发展模式或者是发现周期性发展规律。
 
数据挖掘的流程大致如下：
 
 
1．问题定义在开始数据挖掘之前，最先的也是最重要的要求就是熟悉背景知识，弄清
 用户的需求。缺少了背景知识，就不能明确定义要解决的问题，就不能为挖掘准备优质的数
 据，也很难正确地解释得到的结果。要想充分发挥数据挖掘的价值，必须对目标有一个清晰
 明确的定义，即决定到底想干什么。
 
2．建立数据挖掘库
 要进行数据挖掘必须收集要挖掘的数据资源。一般建议把要挖掘的数据都收集到一个数
 据库中，而不是采用原有的数据库或数据仓库。这是因为大部分情况下需要修改要挖掘的数
 据，而且还会遇到采用外部数据的情况；另外，数据挖掘还要对数据进行各种纷繁复杂的统
 计分析，而数据仓库可能不支持这些数据结构。
 3．分析数据
 分析数据就是通常所进行的对数据深入调查的过程。从数据集中找出规律和趋势，用聚
 类分析区分类别，最终要达到的目的就是搞清楚多因素相互影响的、十分复杂的关系，发现
 因素之间的相关性。
 4．调整数据
 通过上述步骤的操作，对数据的状态和趋势有了进一步的了解，这时要尽可能对问题解
 决的要求能进一步明确化、进一步量化。针对问题的需求对数据进行增删，按照对整个数据
 挖掘过程的新认识组合或生成一个新的变量，以体现对状态的有效描述。
 5．模型化在问题进一步明确，数据结构和内容进一步调整的基础上，就可以建立形成知识的模型。
 这一步是数据挖掘的核心环节，一般运用神经网络、决策树、数理统计、时间序列分析等方
 法来建立模型。
 6．评价和解释
 上面得到的模式模型，有可能是没有实际意义或没有实用价值的，也有可能是其不能准
 确反映数据的真实意义，甚至在某些情况下是与事实相反的，因此需要评估，确定哪些是有
 效的、有用的模式。评估的一种办法是直接使用原先建立的挖掘数据库中的数据来进行检验，
 另一种办法是另找一批数据并对其进行检验，再一种办法是在实际运行的环境中取出新鲜数
 据进行检验

在Python的学习中我们看到Python有列表、元组和字典三种基本的数据存储结构，下面对着三种结构做一个总结
 
1. 列表（list）
 
列表在Python中是一个任意类型对象位置的相关有序集合，它没有固定大小，根据数据量的不同可以动态变化。可以对列表中的数据进行赋值、修改、添加、删除等操作。与C\C++中一维数组类似，其索引index是从0开始的而不是从1开始的。可以对列表进行索引、切片、分割等操作。 
 列表的分割通过设置索引的头下标和尾下标实现[头下标：尾下标]，这样就可以截取列表中对应范围内的数值。列表也有其特殊性，列表可以从左向右进行索引，索引号默认从’0’开始，列表也可以从右向左进行索引，最右侧索引号尾’-1’，不要忘记’-‘，这表明了列表的索引方向；列表也可以混合存储整型、浮点型和字符串等类型的数据，如下：
 
>>> l=[1,'keith',3.1415]
>>> l
[1, 'keith', 3.1415]
>>> l[0]
1
>>> l[-1]
3.1415
>>> l[1:2]
['keith']
>>> l[0:2]
[1, 'keith']
>>> l[0:]
[1, 'keith', 3.1415]
 
也可以直接对两个列表进行’+’操作，如下：
 
>>> l=[1,'keith',3.1415]
>>> l1=[1,'keith',3.1415]
>>> l2=[2,'keith_bb',0.96]
>>> l1+l2
[1, 'keith', 3.1415, 2, 'keith_bb', 0.96]
 
Python标准库中提供了更多对列表进行操作的函数如：
 
list.len(): 求取列表中元素个数
list.append(x): 把元素x添加到列表的结尾
list.extend(L): 将一个给定列表中的所有元素都添加到另一个列表中
list.insert(i, x): 在指定位置i处插入一个元素x，需要注意的是元素会插入在原位置元素之前
list.remove(x): 删除列表中值为x的第一个元素,如果列表中没有这样的元素，就会返回一个错误。
list.pop([i]): 从列表的制定位置删除元素，并将其返回。如果没有指定索引，a.pop()返回的将是列表中最后一个元素，元素随即将从列表中删除(pop([i])中表示元素i是可选的，在实际使用中不需要添加[],在Python的文档中也常遇到这样的问题)
list.index(x): 返回列表中第一个值为x的元素的索引，如果没有该元素则会返回一个错误
list.count(x): 返回x在列表中出现的次数
list.sort(cmp=None, key=None, reverse=False): 对列表中的元素进行排序，如果参数reverse设置为True则列表为倒序排列
list.reverse(): 列表倒序排列
del list[i]删除列表中给定的索引所对应的值，这点与remove方法有所不同，del进行删除操作后无返回值。del还可以从列表中删除切片、清空整个列表甚至删除整个变量
list.clear()从列表中删除所有元素，其效果等同与使用del删除整个列表元素
list.copy()对列表进行一个浅拷贝操作，等同于a[:]
 
>>> deque=['A','B','C']
>>> deque.append('D')
>>> deque.append('E')
>>> deque.pop()
'E'
>>> del deque[0]
>>> deque
['B', 'C', 'D']
>>> del deque[1:3]
>>> deque
['B']
>>> del deque[:]
>>> deque
[]
 
2. 元组（tuple）
 
元组在Python中的应用不如列表和字典广泛，但是元组的一些特点也很有用处。元组数据特点：
 
元组是任意对象的有序集合，元组与字符串和列表类似，是一个位置有序的对象的集合，可以嵌套到任何类别的对象中去
通过偏移存取而不是键来访问，同列表一样可以使用索引、切片等操作
属于不可变序列类型，不能对元组中的元素重新赋值，但可以进行组合和复制，运算后会生成一个新的元组
 
列表的声明需要用’[]’来说明，而元组则需要’()’，元组在输出时总是有括号的，以便于表达正确的嵌套结构。在输入时可以有或没有括号，不过经常括号都是必须的。元组和列表很类似，它们经常在不同的情况下使用。由于元组中元素不可被重新复制，这就决定了元组有很多特殊用途例如：(x, y)表示一个坐标对，在数据库中的员工记录等。通过包含不同种类的元素通过分拆和索引进行访问，如果是namedtuple的类型甚至可以通过对象属性进行访问。 
 可以通过一对空括号创建空元组，而在创建一个单元素的元组可以在值后面跟一个逗号如下：
 
>>> tuple_empty=()
>>> tuple_single='hello',
>>> tuple_single
('hello',)
>>> tuple_empty
()
 
Python中提供的常用的元组操作函数如下：
 
tuple.len(): 计算元组中元素个数
tuple.index(x,[start,stop]): 返回元组中start到stop索引中第一个值位x的元素在整个列表中的索引，如果没有匹配的元素就会返回一个错误。
tuple.count(x): 返回元素x在元组中出现的次数
tuple.max(tuple): 返回元组中元素最大值
tuple.min(tuple): 返回元组中元素最小值
tuple(list): 将列表转换为元组
由于元组中元素不可重新赋值，所以不可对元组中元素进行排序，如果使用sorted()函数对元组进行排序操作，则sorted()函数会首先将元组转换为列表之后再进行排序，排序后的结果为列表而非元组
 
在元组声明中可以嵌套列表，如下：
 
>>> tuple_list=('x','y',['a','b'])
>>> tuple_list
('x', 'y', ['a', 'b'])
>>> tuple_list[2][0]=1
>>> tuple_list
('x', 'y', [1, 'b'])
>>> tuple_list[2][1]=2
>>> tuple_list
('x', 'y', [1, 2])
>>> tuple_list[0]=1
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'tuple' object does not support item assignment
 
3. 字典(dict)
 
字典在Python中非常有用，和列表与元组不同的是，列表与元组靠有序的index进行索引而字典是以关键字进行索引，关键字可以是任意不可变类型，通常用字符串或数值。所以如果元组值包含字符串和数字可以作为关键字，但如果它直接或间接的包含了可变对象，如嵌套列表，则不能作为关键字，不能用列表作为关键字。 
 理解字典最佳方式是吧它看做无序的 键:值 对(key:value)集合，同一个字典内键必须是互不相同的。一对大括号’{}’创建一个空的字典，初始化列表时，在大括号内放置一组逗号分割的键值对，这也是字典输出方式。 
 对一个字典执行list(d.keys())将会返回一个字典中所有关键字组成的无序列表，如果想要排序值需要使用sorted(d.keys()),可以使用in检查字典中是否存在某个关键字
 
>>> dic={'A':1, 'B':2, 'C':3}
>>> dic
{'B': 2, 'A': 1, 'C': 3}
>>> dic={'A':3,'B':2,'C':1}
>>> dic
{'B': 2, 'A': 3, 'C': 1}
>>> list(dic.keys())
['B', 'A', 'C']
>>> sorted(dic.keys())
['A', 'B', 'C']
 
Python中常用字典操作方法:
 
dic.clear(): 删除字典内所有的元素
dic.copy(): 返回复制的字典
dic.fromkeys(seq,val): 创建一个新的字典，以序列seq中元素做字典的键，val为字典键所对应的初始值
dic.get(key,default=None): 返回指定键的值，如果值不在字典中则返回default值
dic.has_key(key): 和in一样，可以判断关键字是否在字典中，如果键在字典中返回true,否则返回false
dic.items(): 以列表返回可遍历的(键,值)元组数组
dic.keys(): 以列表返回一个字典所有键
dic.setdefault(key,default=None)：和get()类似，但如果键不存在字典中，将将会在字典中添加键病将值设置位default
dic.update(dic2): 把字典dic2中的(键:值)对更新到dic，相当于将dic2中数据复制到dic中
dic.values(): 以列表返回字典中所有值
dic.pop(key): 删除一个键并返回它的值，类似于列表的pop，只不过删除的是一个键不是一个可选的位置
del：de函数同样试用字典，如del dic[key]删除键
可对字典中的值进行修改，如：dic[key]=66
 
最后
 
Python中三种基本的数据存储结构已经说完了，但是并不能完全覆盖，像列表推导式之类的知识点可以简化Python代码，提高可阅读性。 
 本文主要参考Python官方教程、廖雪峰教程和知乎： https://zhuanlan.zhihu.com/p/25728802

 
 

  数据挖掘具有以下几个特点：
 1，基于大量数据：并非说小数据量上就不可以进行挖掘，实际上大多数数据挖掘的算法都可以在小数据量上运行并得到结果。但是，一方面过小的数据量完全可以通过人工分析来总结规律，另一方面来说，小数据量常常无法反映出真实世界中的普遍特性。
 
 
 

  
 2，非平凡性：所谓非平凡，指的是挖掘出来的知识应该是不简单的，绝不能是类似某著名体育评论员所说的“经过我的计算，我发现了一个有趣的现象，到本场比赛结束为止，这届世界杯的进球数和失球数是一样的。非常的巧合！”那种知识。这点看起来勿庸赘言，但是很多不懂业务知识的数据挖掘新手却常常犯这种错误。
 
 
 

  
 3，隐含性：数据挖掘是要发现深藏在数据内部的知识，而不是那些直接浮现在数据表面的信息。常用的BI工具，例如报表和OLAP，完全可以让用户找出这些信息。
 
 
 

  
 4，新奇性：挖掘出来的知识应该是以前未知的，否则只不过是验证了业务专家的经验而已。只有全新的知识，才可以帮助企业获得进一步的洞察力。
 
 
 

  
 5，价值性：挖掘的结果必须能给企业带来直接的或间接的效益。有人说数据挖掘只是“屠龙之技”，看起来神乎其神，却什么用处也没有。这只是一种误解，不可否认的是在一些数据挖掘项目中，或者因为缺乏明确的业务目标，或者因为数据质量的不足，或者因为人们对改变业务流程的抵制，或者因为挖掘人员的经验不足，都会导致效果不佳甚至完全没有效果。但大量的成功案例也在证明，数据挖掘的确可以变成提升效益的利器。
 
 
 

 
 
 

 
 
 

 链接：https://www.zhihu.com/question/19637218/answer/15508220
 来源：知乎