大数据正在成为一个热门的话题和概念,不断地渗入到了我们的生活和工作中。当我们刷微博发微信,用手机、iPad查看邮件移动办公,甚至网上购物时都在产生新的数据。时下最为新潮的可穿戴设备,比如一些智能手环、物联网也在催生数据,可见服务无处不在,数据也无处不在。
根据权威机构的调研结果,互联网上的数据每年将增长50%,每两年便将翻一番,而目前世界上90%以上的数据是最近几年才产生的。此外,数据又并非单纯指人们在互联网上发布的信息,全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,也产生了海量的数据信息。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分,云计算甚至是大数据实现的引擎。大数据分析和处理需要海量的存储资源、和计算资源。云端大数据方案提供了“无限”的存储和计算能力,加之可以快速部署,无疑是一个理想选择。世纪互联微软云提供的Windows Azure解决方案,可以把大数据及分析结果存储在Azure Storage(或者Azure 数据库)中。在需要大数据分析时启动HDInsight 的Hadoop 群集,分析完毕后可以随时关闭Hadoop集群,而数据仍然存在Azure上。
公有云与大数据的关系:

HDInsight – 云端大数据解决方案:
HDInsight是在 Windows Azure 平台建立的 100% 基于Hadoop的云端大数据解决方案。
Azure的简便性让您只要点击几个按钮,就可以快速部署Hadoop群集。也可以使用基于网络的简单的工具及APIs进行互动与监控。
HDInsight让您能够根据所需,快速创造您的Hadoop群集运行分析,完毕后关掉集群。这是您在云端环境中才能享有的成本节约优势。
透过熟悉的工具,如Excel 深入了解所有的数据!Microsoft数据平台的一体化,可以让您使用PowerPivot、Power View 及其它Microsoft BI工具分析您的Hadoop常驻数据。
