基于大数据挖掘----浅谈大数据与大数据挖掘
 
一、大数据技术
 
1.1大数据的定义
 
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从某种意义上来说，大数据是为了更经济地从高频率的、大容量的、不同结构和类型的数据中获取价值而设计的新一代构架和技术。
 简而言之，大数据就是数据分析的前沿技术，这种技术能从各种各样类型的数据中，快速获得有价值的信息。
 
1.2大数据的特点
 
可将大数据的特点总结为：规模性（volume）、多样性（variety）、高速型（velocity）和价值性（value）。
 1.规模性:大数据容量巨大，从TB级别，跃升至PB级别，数据容量越来越大已经成为不争的事实。现在一般家庭用的计算机硬盘容量都以TB为单位了，而在各电子商务、游戏、邮箱等，数据容量更是达到PB、EB级别。此外，在用户需求的刺激下，大数据的增长速度也十分惊人。据IDC最近的报告预测称，到2020年，全球数据量将扩大50倍。
 2.多样性:数据类型极多，大数据根据终端显示的不同，可分为文档型、多媒体型、图片型等等。这些类型都与我们的网络活动息息相关，为我们的网上生活提供了丰富多彩的形式。数据多样性的增加主要是由于新型多结构数据，包括网络日志、社交媒体、互联网搜索、手机通话记录及各式传感器网络等数据类型造成的。
 3.高速性:高速指的是数据被创建和移动的速度，即处理海量数据的速度。因此大数据技术离不开云计算的发展，人们通过云计算可从各种类型的数据中快速获得高价值的信息。在高速网络时代，通过高速电脑处理器和服务器，创建实时数据流已成为流行趋势。根据相关调查预测，到2020年全球将拥有220亿部互联网连接设备，这对大数据的处理速度将有着极高的要求。
 4.价值性:人们利用大数据并对其进行正确、准确的分析，将会带来很高的价值回报,但是又因其具有价值密度低的特点，大数据存在不规则和模糊不清的特性，因此很难使用传统的分析软件进行分析。目前，企业面临的挑战是处理并从各种类型的复杂数据中挖掘出价值。
 
1.3大数据的发展过程
 
大数据的发展和企业信息化的发展密不可分。在上世纪80年代，企业的各类业务、财务数据都是通过账簿记录，查阅和统计都十分不方便，可靠性也不高。从90年代末开始，金融业、电信业、大型零售等行业企业率先将核心交易数据电子化，2000年以后随着IT技术的发展，越来越多的企业将信息化纳入议程，设计、制造、财务等管理逐步数据电子化，这些数据被企业视为最宝贵的资产，随之而起的数据库技术和网络安全技术也渐渐完善。2010年以后，各式各样的数据，包括客户的浏览数据、反馈数据等在一些企业中也都开始记录并逐步进行建模和分析，基于数据挖掘和分析的预测技术也逐步开始出现。
 从过去到现在，数据的价值都在一点一滴的显现，十年前的大数据在如今看来根本不算很大；而同样的，今天的大数据在若干年后也将不再被认为是大数据。数据的容量、处理速度、多样性、复杂度等在今天来看无法想象的事情，若干年之后都会被颠覆。但是唯一不变的，是对数据的思考和分析的方法，以及利用数据来产生附加价值的出发点。
 
1.4大数据的意义和价值
 
大数据技术具有很高的战略意义，但大数据技术不限于存储海量的数据信息，而在于对这些海量的数据信息进行专业化的处理，如果将大数据比作一种产业，那么大数据产业的关键在于对数据的加工，通过加工数据实现数据的增值。
 大数据不仅在于“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是赢得竞争的关键。
 对大数据进行分析能揭示隐藏其中的信息。从企业角度来说，其价值大致体现在这些方面:
 1.对于那些为大量消费者提供产品或服务的企业来说，可以利用大数据进行精准营销，例如产品推荐等。许多企业都在收集用户社交媒体数据、浏览器日志、文本分析等数据，来全方位地了解他们的客户。
 2.优化业务流程，利用从社交媒体数据、网络搜索趋势以及天气预报挖掘出的预测信息，零售商可以优化其库存。其中应用最广的业务流程是供应链或配送路线优化。
 3.大数据可以改善每个人的生活，我们利用可穿戴设备（例如智能手表或智能手链）生成的数据，来调整生活作息、睡眠模式等。
 4.大数据可以提高医疗和研发效率，例如在几分钟内解码整个DNA，这让我们可以更加便捷地去寻找新的治疗方法，同时更好地理解和预测疾病模式。
 5.大数据也能大幅度优化机器和设备性能，大数据分析还可以让机器和设备变得更加智能和自主化。
 正如阿里巴巴创办人马云所提到，未来的时代将不是 IT 时代，而是 DT的时代，DT就是 Data Technology，即数据科技。这显示出大数据在未来的发展中具有极其重要的作用，未来将是大数据的时代。
 
二、数据挖掘
 
2.1数据挖掘的定义
 
数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程并且从大量数据中寻找其规律的技术，它是统计学、数据库技术和人工智能技术的综合。
 数据挖掘作为信息获取的一门重要技术，得到了广泛的研究。数据挖掘从大量的数据中挖掘出有用的信息，提供给决策者做决策支持，有着广阔的应用前景。
 
2.2数据挖掘的前提–数据采集
 
大数据技术第一步就是采集数据。数据采集的多样性、完整性、准确性，决定了数据挖掘的成果以及后期预测的可靠性。
 在大数据时代，数据采集有以下三个特点：
 1.数据采集以自动化手段为主，要尽量摆脱人工录入的方式。
 2.采集内容以全量采集为主，要摆脱对数据进行采样的方式。
 3.采集方式多样化、内容丰富化，摆脱以往只采集基本数据的方式。
 从采集数据的类型上看，不仅要涵盖基础的结构化数据，还要逐步包括半结构化的用户行为数据，网状的社交关系数据，文本或音频类型的用户意见和反馈数据，网络爬虫获取的互联网数据，以及未来越来越多有潜在意义的各类数据。
 移动互联网的兴起让移动设备的数据采集技术有了迅速发展，目前使用最多的为Android或IOS的采集 SDK，这种技术能帮助统计 APP 的基础数据，包括用户数、活跃情况、流失比例、使用时长等；用户的位置、安装列表、通讯情况等通过授权也可以采集。
 
2.3数据挖掘的步骤与方法
 
数据挖掘的一般步骤为数据集选取、数据预处理、数据转换、数据建模、结果分析改进等。通常程序为：问题分析；提取、清洗与校验数据；创建与调试模型；数据挖掘模型维护。
 在数据挖掘的过程中，需要挖掘的数据类型种类繁多, 可能是有结构的数据,如组织成表结构的数据；也可能是无结构的数据, 如文本数据；还可能是半结构化的数据，如Web页面数据；甚至是图像或视频等多媒体数据。由于挖掘的数据类型多样，因此其涉及的技术方法很多。
 根据挖掘任务可分为五种:分类与回归、聚类分析、关联分析、时间序列分析和偏差检测。在数据库挖掘中，C4.5（决策树算法），遗传算法等，其中决策树方法与神经网络方法是其关键方法。
 而挖掘方法又可以分为：机器学习方法、统计方法、神经网络方法。机器学习中，可细分为：归纳学习方法（决策树、规则归纳等）、基于范例学习、遗传算法等。统计方法中，可细分为：回归分析（多元回归、自回归等）、判别分析（贝叶斯判别、费歇尔判别、非参数判别等）、聚类分析（系统聚类、动态聚类等）、探索性分析（主元分析法、相关分析法等）等。神经网络方法中，可细分为：前向神经网络（BP算法等）、自组织神经网络（自组织特征映射、竞争学习等）等。
 在现在信息爆炸的时代，数据挖掘的信息源中的数据都是海量的，并且以指数级增长，传统的集中式串行数据挖掘方法不再是一种适当的信息获取方式。因此扩展数据挖掘算法处理大规模数据的能力，并提高运行速度和执行效率，已经成为数据挖掘发展过程中一个必须解决的问题。
 
2.4数据挖掘的功能
 
在大数据时代下，基于大数据的数据挖掘有着无比重要的意义，人们通过对大量数据的专业分析，可以对现有的商业模式、企业决策提供数据支持。目前，几乎所有的知名企业中的管理建议都是以数据分析结论作为依据而提出的，在分析和解决问题时也开始倾向于用数据说话，不掌握大量数据时无法提出合理的、科学的、可行的建议的。此外，当大量的数据量积累到一定程度时，再对这些数据进行分析处理后，人们就可以从这些数据中找到感兴趣的有效的信息。
 因此数据挖掘可以预测未来趋势及行为，做出前瞻性、基于大数据发展趋势的决策。总的来讲主要有以下五类功能：自动预测趋势和行为；关联分析，找出数据库中隐藏的关联网；聚类，增强了人们对客观现实的认识；概念描述，对某类对象的内涵进行描述，并概括这类对象的有关特征；偏差检测，寻找观测结果与参照值之间有意义的差别。
 
2.5数据挖掘的应用
 
随着社会信息化程度的持续提高，数据挖掘技术也渐渐发展变成了一门独立的学科。数据挖掘技术为了满足用户在庞大的数据库中筛选有用的数据需要，经过分类技术对数据实施分类挖掘。在各行各业中，均存在着数据挖掘的身影。
 （1）金融。金融事务需要收集和处理大量的数据，通过对这些数据进行分析，然后可能发现某个客户、消费群体或组织的金融和商业兴趣，也可观察金融市场的变化趋势。
 （2）医疗保健。例如在2009年，Google通过分析5000万条美国人最频繁检索的词汇，将之和美国疾病中心在2003年到2008年间季节性流感传播时期的数据进行比较，并建立一个特定的数学模型。最终Google成功预测了2009冬季流感的传播甚至可以具体到特定的地区和州。这对医疗保健品的运输调度以及需求规划起了很重要的作用。
 （3）市场业。市场业应用数据挖掘技术进行市场定位、消费者分析、辅助制定市场营销策略等。例如农夫山泉利用大数据解决了怎样摆放水堆更能促进销售？气温的变化让购买行为发生了哪些改变？竞争对手的新包装对销售产生了怎样的影响？物流运输调度等问题。
 （4）制造业。制造业应用数据挖掘技术进行零部件故障诊断、资源优化、生产过程分析等。
 在云计算平台Hadoop基础上，中国科学院计算技术研究所开发的并行分布式数据挖掘平台——PDMiner。PDMiner 实现了各种并行数据挖掘算法。实验结果表明，并行分布式数据挖掘平台PDMiner中实现的并行算法，能够处理大规模数据集，达到太字节级；实现的并行算法可以在商用机器构建的并行平台上稳定运行，可以有效地应用到实际海量数据挖掘中。
 
三、基于大数据的数据挖掘
 
概括地说，大数据挖掘包括基于内容的大数据挖掘与基于结构的大数据挖掘。大数据分析是指对规模巨大的数据进行分析。大数据作为时下火热的 IT 行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士谈论的焦点。
 
3.1基于内容的大数据挖掘
 
基于内容的大数据挖掘包括网络搜索技术与实体关联分析研究。
 社会媒体的出现使得网络搜索研究的热点转移到了排序学习算法，专注于提高检索质量。排序学习算法以损失函数为优化目标，将文档表示为特征向量，寻找在搜索领域中常用的评价标准下的最好的排序函数。目前现有的模型在处理用户需求的多样性、重要性和相关性等不同的目标，在排序方面仍有不足。
 命名实体是具体或者抽象但具有特定意义的实体。从大数据中挖掘其蕴含的内在知识，需要研究对命名实体以及命名实体关系的数据挖掘。
 
3.2基于结构的大数据挖掘
 
社会网络是以用户为节点，用户间的关系为连线而构建的网络，它既是用户间社会关系的反映，也是用户之间进行信息交互的载体。
 在社会网络中，个体因自身各种因素进而形成了连接紧密的圈子，这种内部关系紧密而对外关系相对稀疏的结构被称为社区。社区结构是社会网络所普遍具有的结构特征，它的存在对于大数据的高效搜索、网络演化、信息扩散等具有重要意义。
 
四、大数据挖掘的发展趋势
 
未来的时代必然是大数据的时代，信息时代逐渐变为数据时代，一切将与数据密不可分。
 
4.1未来大数据的发展趋势
 
数据的资源化，大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。
 1.商业智能
 企业决策正在经历的转变将延续到未来。处理大数据的目标使效率越来越高，成本不断减少，从而造就了基于大数据的商业智能，对中小企业甚至初创公司来说更为重要。这一趋势将延续到未来及以后，处理大数据的成本将继续降低。
 2.数据分析将包含可视化模型
 数据可视化和数据发现将成为一股重要趋势。
 数据发现的范畴已经扩大，不仅包括对数据分析和关系的理解，还包括呈现数据的方式。作为一种把数据变成可视化的方法，可视化模型越来越受欢迎。日益改善和演变的可视化模型已经成为从大数据中获取信息的必要组成部分。
 人脑能高效地处理视觉图像。在这个过程中，大脑使用了潜意识，让决策者可以通过迅速扫描图像来处理信息。可视化图表利用了大脑的图像识别能力，出色的可视化模型将成为处理庞大数据集的更好选择。
 3.机器学习
 机器学习是计算机的训练过程，现在被企业用于各种各样的商业行为，比如实时广告、模式识别、欺诈识别和医疗。但在大数据时代，机器学习将变得更聪明、更快速、更有效。
 
4.2未来数据挖掘的发展趋势
 
在许多领域，数据挖掘都是热点问题。用数据挖掘技术解决问题的类型、解决数据挖掘的数据准备工作及数据挖掘的理论基础都日趋成熟与完善。在大数据时代下，数据挖掘的发展趋势可以体现在以下5个层面。
 1、多媒体数据挖掘
 大数据时代下，视、音频、图像等都属于多媒体数据，随着时代的发展，海量的数据结构变得复杂化和动态化。无人机和无人车的实际应用、智慧医疗项目的全面发展都会要求对多媒体数据进行快速处理，为了得到更理想的效果，得到的效果变得最优化，需要开发和设计数据挖掘的新智能算法。
 2、网络与分布式环境下的KDD问题
 随着Internet的不断发展，网络资源日渐丰富，这就需要分散的技术人员各自独立地处理分离数据库的工作方式应是可协作的。因此，考虑适应分布式与网络环境的工具、技术及系统将是数据挖掘中一个最为重要和繁荣的子领域。
 3、数据挖掘算法的改进和可视化
 可视化要求已经成为数据挖掘系统中必不可少的技术。可以在发现知识的过程中进行很好的人机交互。数据的可视化起到了推动人们主动进行知识发现的作用。如今，学术研究主要集中在精度和效率之间设定适当的临界值和对数据挖掘的结果进行可视化两个方面。针对数据挖掘算法中的新贵——RNN、CNN、DNN、Capsule等一系列深度学习算法的研究，将成为引领大数据研究方法的风向标。
 4、数据挖掘和隐私保护
 在解决实际问题时，难免会涉及隐私的数据，例如在研究信用卡和用户之间的关系时，数据中难免会有用户的个人信息；在研究宫颈癌（危险因素）与人的年龄、怀孕次数、性伴侣数等关系时，会有部分隐私信息不便透漏外界。在进行数据挖掘过程中，不泄露用户的个人隐私问题，对数据进行脱敏处理，将成为人们研究数据挖掘的另一个重要方面。
 5、数据挖掘与数据库系统和Web数据库系统的集成
 数据库系统和Web数据库已经成为信息处理系统的主流。数据挖掘系统的理想体系结构是与数据库和数据仓库系统的紧耦合。
 
五、结论
 
本文主要介绍了大数据技术的定义、特点、发展过程、总结了其意义和价值；还介绍了数据挖掘技术定义、步骤与方法、以及数据挖掘技术的功能和应用，归纳总结了在大数据时代下大数据和数据挖掘技术未来的发展趋势。
 在这个大数据时代，大数据不仅让我们不再期待精确性，也让我们无法实现精确性。我们用数据驱动的大数据的相关关系分析法，取代了传统的易出错的方法。大数据的相关关系分析法更准确、更快，而且不易受偏见的影响。建立在相关关系分析法基础上的预测是大数据的核心。
 在各个领域，时刻都会产生海量数据，由于社会存在过多的不确定性因素，导致处理的数据类型越来越繁杂，传统的处理方法已经不再使用，但是数据挖掘技术则为解决大数据问题开辟了一个新途径。未来的时代是DT时代，数据挖掘技术会面对更加严峻的挑战，利用数据挖掘的相关算法，处理实际问题和分析数据的能力将会更加显著。
 在不久的将来，我们会在大数据的指导下探索世界，不再受限于各种假想。我们的研究始于数据，也因为数据我们将会发现以前不曾发现的联系。

 
 
 概述
 
 
 
 

   spark是实时大数据分析、挖掘的流行方案，hadoop是大数据存储和运行的流行方案，本demo主要表述用spark + hadoop如何做大数据挖掘的通用方案，包含了，包括了环境资源整合、spark和hadoop的整合，各部分模块的关系，并给出了可用的java 代码框架，和可运行的demo代码。
 
 
 
 
 
 详细
 
 
 
 
 
  
 
   
 代码下载：http://www.demodashi.com/demo/10153.html
 
   
 
  
 
  
一、设计背景
 
 
  
为了满足大数据实时挖掘的需要
 
  

 
 
  
二、设计要求：
 
 
  
1、数据存储
 
  
A、大数据存储标准
 
  
系统需要满足以T基本的数据存储量设计标准。
 
  
B、规模可伸缩
 
  
平台的规模可以平衡伸缩扩展
 
  
C、数据可以快速运算
 
  
数据必须是支持快速运算得出结果的
 
  

 
 
  
三、架构方案
 
  
1、架构图
 
  
大数据挖掘、分析的的通用流程如下：
 
  
1、先是数据采集，这里我们叫做原始数据
 
  
2、采集完之后，数据经过数据清洗模块，进行清洗
 
  
3、清洗完之后，会被数据挖掘模块进行运算
 
  
4、数据挖掘模块运行的结果，会生成相关的可用模型
 
  
5、这些模型对象往往被保存到模型服务器里面
 
  
6、然后业务服务器就从模型服务器里面获取相关的模型进行运算。
 
  
 
  
2、数据清洗模块
 
  
2.1 用途
 
  
原始数据，都是写杂乱的数据，没法进行数据分析，和数据挖掘，都需要经过清洗才能变成可用的数据，数据清洗，一般包含两部分，第一部分，数据纯提取，就是把一些没用的信息属性，去掉，只留些和我们要分析和挖掘属性相关的属性，第二部分是建一般的属性信息转换为可供运算的数学模型信息，转行为数学模型才能进行挖掘等运算。
 
  

 
 
  
2.2 结构图
 
  
 
  
2.3实现方式
 
  
数据采集，一般采用kafka才做数据采集，采集完的数据会保存到数据中心里面，这个数据中心，在我这这里也叫原始数据源，因为数量可能几大，所以可以采用Hadoop dfs来存放。
 
  
有了原始数据后，数据清洗模块被业务服务器触发运行，它去原始数据源那边获取原始数据，然后进行去杂过滤，和转数字化处理，然后在把这些处理结果存放到数据服务器里面。
 
  

 
 
  
技术落地如下：
 
  
 
  
数据采集，使用kafka、Flume
 
  
原始数据源，使用hadoop dfs，或者hadoop hive等都可以
 
  
数据服务器，使用 hadoop dfs(parquet) 或者hadoop hive
 
  
数据清洗模块，使用spark
 
  
2.4扩展
 
  
容量扩展：
 
  
采用hadoop 系统来做大数据存储，方便横向扩展
 
  
计算能力扩展：
 
  
使用spark来做计算能力的横向扩展
 
  

 
 
  
3、数据挖掘模块
 
  
3.1 用途
 
  
数据挖掘模块，是对清洗后的数据，运用数学算法，对其进行数据运行，并把运算后的结果模型保存起来，供业务程序的调用。
 
  

 
 
  
3.2 结构图
 
  
 
  

 
 
  
3.3实现方式
 
  
数据挖掘模块是一个数据挖掘的程序集合，这些挖掘程序需要放到算法运行服务器里面运行。
 
  

 
 
  
技术落地如下：
 
  
 
  

 
 
  
数据服务器，使用 hadoop dfs(parquet) 或者hadoop hive
 
  
数据挖掘模块，使用spark
 
  

 
 
  
3.4扩展
 
  
容量扩展：
 
  
采用hadoop 系统来做大数据存储，方便横向扩展
 
  

 
 
  
计算能力扩展：
 
  
使用spark来做计算能力的横向扩展
 
  

 
 
  
4、算法运行服务器
 
  
采集层 主要可以使用Flume, Kafka两种技术
 
  
4.1 用途：
 
  
在spark中要运算某些算，一般的做法是，把算法上传到spark服务器中，然后通过脚本来触发运行，这样的方式在我们的项目应用中，是可行的，但这样的方式是封闭式的，不能让第三方系统触发运行，基本上都能够通过手动触发运行，或者给算法加上一个定时器外壳，定时去执行XX算法，基于这的特性不方便和我们的业务系统集成。
 
  

 
 
  
所以提出了算法运行服务器的需求，这个主要解决了，算法可随时被业务系统触发，也可以向业务系统返回执行结果等。
 
  
4.2 结构图：
 
  
 
  
 
  
4.3实现方式
 
  
数据挖掘模块是一个数据挖掘的程序集合，这些挖掘程序需要放到算法运行服务器里面运行。
 
  

 
 
  
技术落地如下：
 
  
 
  

 
 
  
4.4 运行说明：
 
  
算法运行服务器启动时，会启动一个socket监听器，业务服务器要调用某个算法时，会往这个监听器发送一个调用请求，然后监听器接收到调用请求后，调用具体的算法（可能是数据清洗的算法，也可以是数据挖掘等的算法）运算，然后算法运行完毕后，会将运行的结果，返回给业务调用端。
 
  

 
 
  
5、数据服务器
 
  
5.1 用途：
 
  
存放原始数据，和清洗后的数据。
 
  
5.2 结构图：
 
  
 
  
5.3 技术方式：
 
  
 
  
6、模型服务器
 
  
6.1 用途：
 
  
用于存放挖掘运行后的模型，这个模型其实就是一个可用的java对象，这个java对象，会被业务端读取，然后加载后，用于业务运行。
 
  
6.2 结构图：
 
  
 
  
6.2 实现方式：
 
  
 
  

 
 
  
四、架构使用
 
  
1、环境搭建
 
  
1.1 Hadoop安装、配置
 
  
A、下载、copy到Linux下、解压等，以及将hadoop下的bin和sbin目录都添加到系统path 等这些略过。
 
  
添加过程如下：
 
  
vi /etc/profile
 
  
然后文件末端这样：
 
  
 
  
配置这样的好处就是，以后执行一些hadoop的命令，不用直接到XXbin目录下。
 
  
注意编辑后，需要执行 source /etc/profile 后才生效
 
  

 
 
  
B、主要配置三个文件
 
  
core-site.xml 文件，配置如下：
 
  
 
  
注意：这里要配置一个临时目录，一定要注意名称是hadoop.tmp.dir 以及值路径是这样写：file:/hadoop-data/dfs/tmp （因为每个hadoop的属性和值得表示方法不一样）
 
  
hdfs-site.xml文件，配置如下：
 
  
 
  
C、配置完上面的路径后，先用命令格式化一下文件系统：
 
  
hdfs namenode -format
 
  
这个作用就是建立一个临时temp目录，以及相关的临时库。
 
  
注意：每次在修改了和路径有关的配置后，都必须执行一次
 
  
D、设置免密码登录
 
  
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
 
  
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
 
  
E、到shin目录下，执行启动命令, start-dfs.sh 即可（关闭则是 stop-dfs.sh）
 
  
F、有问题记得查看log文件。
 
  
G、请后，可以用命令查看相关端口：
 
  
 
  
H、可以打开网页看看
 
  
XXX:50070 即可
 
  
 
  
1.2 spark安装、配置
 
  
略
 
  
2、程序开发与实现
 
  
2.1 项目搭建
 
  
以test-salesRunInspark-project项目为基础，或者重命名该项目即可，大数据挖掘的项目搭建。
 
  
2.2 项目开发
 
  
程序开发主要涉及到：清洗算法的开发，和挖掘算法的开发，其他部分不需要。
 
  
然后清洗算法、挖掘算法的开发，需要遵从2.1算法编写 规则。
 
  
需要开发的部分为红色标识的部分：
 
  
 
  
2.3 算法编写规则
 
  
算法（包含数据清洗算法、挖掘算法等）都是只需要遵从以下规则即可：
 
  
必须规则：
 
  
定义一个普通class，然后为这个类加入精通的job方法即可
 
  
public static void job() {
}
 
  
可选规则：
 
  
也可以定义一个main方法，这个主要作为单独运行的入口（即不是通过运算服务器调用）
 
  
public static void main(String[] args) {
}
 
  
2.4 api使用
 
  
Api的使用主要涉及到以下两个方面：
 
  
1、在spark中如何hadoop集成通讯，如何读取hadoop中的数据和将结果保存到hadoop中
 
  
2、清洗的算法如何实现、挖掘的算法如何编写
 
  

 
 
  
具体参考项目代码中的：
 
  
数据清洗和转换算法参考：UserJsonLog2Parquet.java
 
  
数据挖掘算法参考：UserClassModel.java
 
  
3、程序发布
 
  
数据挖掘项目以java项目方式存在，程序发布只需要将程序导出为jar包，当然换个jar包，也把所依赖的jar包也打包进去，然后把这个jar包，一起拷贝到 spark环境下面即可。
 
  
步骤如下：
 
  
 
  
 
   
 注：本文著作权归作者，由demo大师（http://www.demodashi.com）宣传，拒绝转载，转载需要作者授权
 
   

    
 
   
 
  
 
 
 
 

大数据如果想要产生价值，对它的处理过程无疑是非常重要的，其中大数据分析和大数据挖掘就是最重要的两部分。在前几期的科普中，小编已经为大家介绍了大数据分析的相关情况，本期小编就为大家讲解大数据挖掘技术，让大家轻轻松松弄懂什么是大数据挖掘技术。

什么是大数据挖掘？
分享之前我还是要推荐下我自己创建的大数据学习交流Qun531629188
无论是大牛还是想转行想学习的大学生
小编我都挺欢迎，今天的已经资讯上传到群文件，不定期分享干货，
包括我自己整理的一份最新的适合2018年学习的大数据教程，欢迎初学和进阶中的小伙伴。
数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
数据挖掘对象
根据信息存储格式，用于挖掘的对象有关系数据库、面向对象数据库、数据仓库、文本数据源、多媒体数据库、空间数据库、时态数据库、异质数据库以及Internet等。
数据挖掘流程
定义问题：清晰地定义出业务问题，确定数据挖掘的目的。
数据准备：数据准备包括：选择数据–在大型数据库和数据仓库目标中 提取数据挖掘的目标数据集;数据预处理–进行数据再加工，包括检查数据的完整性及数据的一致性、去噪声，填补丢失的域，删除无效数据等。
数据挖掘：根据数据功能的类型和和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。
分享之前推荐一个大数据学习交流群：722680258未来将是大数据时代，需要学习大数据的抓紧时间学习，群内不定期分享视频资料，欢迎加入
结果分析：对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。

数据挖掘分类
直接数据挖掘：目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中表的属性，即列）进行描述。
间接数据挖掘：目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系。
数据挖掘的方法
神经网络方法
神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注。
遗传算法
遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法，是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘中被加以应用。
决策树方法
决策树是一种常用于预测模型的算法，它通过将大量数据有目的分类，从中找到一些有价值的，潜在的信息。它的主要优点是描述简单，分类速度快，特别适合大规模的数据处理。
粗集方法
粗集理论是一种研究不精确、不确定知识的数学工具。粗集方法有几个优点：不需要给出额外信息;简化输入信息的表达空间;算法简单，易于操作。粗集处理的对象是类似二维关系表的信息表。
覆盖正例排斥反例方法
它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。首先在正例集合中任选一个种子，到反例集合中逐个比较。与字段取值构成的选择子相容则舍去，相反则保留。按此思想循环所有正例种子，将得到正例的规则(选择子的合取式)。
统计分析方法
在数据库字段项之间存在两种关系：函数关系和相关关系，对它们的分析可采用统计学方法，即利用统计学原理对数据库中的信息进行分析。可进行常用统计、回归分析、相关分析、差异分析等。
模糊集方法
即利用模糊集合理论对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。系统的复杂性越高，模糊性越强，一般模糊集合理论是用隶属度来刻画模糊事物的亦此亦彼性的。

数据挖掘任务
关联分析
两个或两个以上变量的取值之间存在某种规律性，就称为关联。数据关联是数据库中存在的一类重要的、可被发现的知识。关联分为简单关联、时序关联和因果关联。关联分析的目的是找出数据库中隐藏的关联网。一般用支持度和可信度两个阀值来度量关联规则的相关性，还不断引入兴趣度、相关性等参数，使得所挖掘的规则更符合需求。
聚类分析
聚类是把数据按照相似性归纳成若干类别，同一类中的数据彼此相似，不同类中的数据相异。聚类分析可以建立宏观的概念，发现数据的分布模式，以及可能的数据属性之间的相互关系。
分类
分类就是找出一个类别的概念描述，它代表了这类数据的整体信息，即该类的内涵描述，并用这种描述来构造模型，一般用规则或决策树模式表示。分类是利用训练数据集通过一定的算法而求得分类规则。分类可被用于规则描述和预测。
预测
预测是利用历史数据找出变化规律，建立模型，并由此模型对未来数据的种类及特征进行预测。预测关心的是精度和不确定性，通常用预测方差来度量。
时序模式
时序模式是指通过时间序列搜索出的重复发生概率较高的模式。与回归一样，它也是用己知的数据预测未来的值，但这些数据的区别是变量所处时间的不同。
偏差分析
在偏差中包括很多有用的知识，数据库中的数据存在很多异常情况，发现数据库中数据存在的异常情况是非常重要的。偏差检验的基本方法就是寻找观察结果与参照之间的差别。

数据挖掘(DataMining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
 
数据挖掘对象
 
根据信息存储格式，用于挖掘的对象有关系数据库、面向对象数据库、数据仓库、文本数据源、多媒体数据库、空间数据库、时态数据库、异质数据库以及Internet等。
 
数据挖掘流程
 
定义问题：清晰地定义出业务问题，确定数据挖掘的目的。
 
数据准备：数据准备包括：选择数据–在大型数据库和数据仓库目标中提取数据挖掘的目标数据集;数据预处理–进行数据再加工，包括检查数据的完整性及数据的一致性、去噪声，填补丢失的域，删除无效数据等。
 
数据挖掘：根据数据功能的类型和和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。
 
结果分析：对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。
 
数据挖掘分类
 
直接数据挖掘：目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量(可以理解成数据库中表的属性，即列)进行描述。
 
间接数据挖掘：目标中没有选出某一具体的变量，用模型进行描述;而是在所有的变量中建立起某种关系。
 
数据挖掘的方法
 
神经网络方法
 
神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注。
 
遗传算法
 
遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法，是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘中被加以应用。
 
决策树方法
 
决策树是一种常用于预测模型的算法，它通过将大量数据有目的分类，从中找到一些有价值的，潜在的信息。它的主要优点是描述简单，分类速度快，特别适合大规模的数据处理。
 
粗集方法
 
粗集理论是一种研究不精确、不确定知识的数学工具。粗集方法有几个优点：不需要给出额外信息;简化输入信息的表达空间;算法简单，易于操作。粗集处理的对象是类似二维关系表的信息表。
 
覆盖正例排斥反例方法
 
它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。首先在正例集合中任选一个种子，到反例集合中逐个比较。与字段取值构成的选择子相容则舍去，相反则保留。按此思想循环所有正例种子，将得到正例的规则(选择子的合取式)。
 
统计分析方法
 
在数据库字段项之间存在两种关系：函数关系和相关关系，对它们的分析可采用统计学方法，即利用统计学原理对数据库中的信息进行分析。可进行常用统计、回归分析、相关分析、差异分析等。
 
模糊集方法
 
即利用模糊集合理论对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。系统的复杂性越高，模糊性越强，一般模糊集合理论是用隶属度来刻画模糊事物的亦此亦彼性的。
 
数据挖掘任务
 
关联分析
 
两个或两个以上变量的取值之间存在某种规律性，就称为关联。数据关联是数据库中存在的一类重要的、可被发现的知识。关联分为简单关联、时序关联和因果关联。关联分析的目的是找出数据库中隐藏的关联网。一般用支持度和可信度两个阀值来度量关联规则的相关性，还不断引入兴趣度、相关性等参数，使得所挖掘的规则更符合需求。
 
聚类分析
 
聚类是把数据按照相似性归纳成若干类别，同一类中的数据彼此相似，不同类中的数据相异。聚类分析可以建立宏观的概念，发现数据的分布模式，以及可能的数据属性之间的相互关系。
 
分类
 
分类就是找出一个类别的概念描述，它代表了这类数据的整体信息，即该类的内涵描述，并用这种描述来构造模型，一般用规则或决策树模式表示。分类是利用训练数据集通过一定的算法而求得分类规则。分类可被用于规则描述和预测。
 
预测
 
预测是利用历史数据找出变化规律，建立模型，并由此模型对未来数据的种类及特征进行预测。预测关心的是精度和不确定性，通常用预测方差来度量。
 
时序模式
 
时序模式是指通过时间序列搜索出的重复发生概率较高的模式。与回归一样，它也是用己知的数据预测未来的值，但这些数据的区别是变量所处时间的不同。
 
偏差分析
 
在偏差中包括很多有用的知识，数据库中的数据存在很多异常情况，发现数据库中数据存在的异常情况是非常重要的。偏差检验的基本方法就是寻找观察结果与参照之间的差别。 
 　　人工智能、大数据、云计算和物联网的未来发展值得重视，均为前沿产业，多智时代专注于人工智能和大数据的入门和科谱，在此为你推荐几篇优质好文：
 数据统计分析和数据挖掘有何区别？
 http://www.duozhishidai.com/article-11047-1.html
 数据挖掘的聚类算法和优势
 http://www.duozhishidai.com/article-12942-1.html
 如何通过自学，成为数据挖掘“高手”？
 http://www.duozhishidai.com/article-9796-1.html
 数据分析与数据挖掘的区别和联系？
 http://www.duozhishidai.com/article-9800-1.html
 构建一个数据挖掘模型，主要分为哪几步？
 http://www.duozhishidai.com/article-9719-1.html
 
 
多智时代-人工智能和大数据学习入门网站|人工智能、大数据、物联网、云计算的学习交流网站