常见的数据分析工具有哪些？
众所周知，大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。它的含义十分广泛，并庞大复杂，需要有专门设计的硬件和软件工具来进行数据处理和分析。下面给大家推荐几款常见好用的数据分析工具，以供参考选择。

Hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
HPCC

HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。
Smartbi

Smartbi是国内领先的BI厂商，产品定位于一站式大数据服务平台，对接各种业务数据库、数据仓库和大数据平台，进行加工处理、分析挖掘与可视化展现；满足各种数据分析应用需求，如大数据分析、自助探索分析、地图可视化、移动管理驾驶舱、指挥大屏幕、企业报表平台、数据挖掘等。Smartbi产品功能设计全面，企业单位只需要安装部署一次，就可以实现中国式复杂报表、自助BI、以及数据挖掘产品的使用，产品性能、易用性和安全性都不错，广泛应用于金融、政府、电信、企事业单位等领域。
Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。
Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google’s Dremel.
据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。
RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。
大数据分析软件还是选择专业资深的BI厂商比较好，毕竟他们的产品体系、服务和行业经验都比较成熟，像国内的Smartbi就做得挺全面的，业内口碑也不错。

又是老生常谈的话题了，前面出过有不知道有好多篇讲数据分析库的文章，但是今天还是得拿出来再聊聊，有免得有些新伙伴再去找了！


常见的Python数据分析库
Pandas
Pandas是一个开放源码的Python库，它使用强大的数据结构提供高性能的数据操作和分析工具。它的名字：Pandas是从Panel Data - 多维数据的计量经济学(an Econometrics from Multidimensional data)。
在Pandas之前，Python主要用于数据迁移和准备。它对数据分析的贡献更小。 Pandas解决了这个问题。使用Pandas可以完成数据处理和分析的五个典型步骤，而不管数据的来源 - 加载，准备，操作，模型和分析。Python Pandas用于广泛的领域，包括金融，经济，统计，分析等学术和商业领域。
Pandas的主要功能：
快速高效的DataFrame对象，具有默认和自定义的索引；

将数据从不同文件格式加载到内存中的数据对象的工具；

丢失数据的数据对齐和综合处理。重组和摆动日期集；

基于标签的切片，索引和大数据集的子集；

可以删除或插入来自数据结构的列；

按数据分组进行聚合和转换；

高性能合并和数据加入；

时间序列功能；

总的来说，Pandas比较适合用作数据的预处理和数据结构的处理。
NumPy
NumPy 是一个 Python 包。 它代表 “Numeric Python”。 它是一个由多维数组对象和用于处理数组的例程集合组成的库。
NumPy的主要功能：
快速高效的多维数组对象ndarray

用于对数组执行元素级计算以及直接对数组执行数学运算的函数

用于读写硬盘上基于数组的数据集的工具

线性代数运算、傅里叶变换，以及随机数生成

用于将C、C++、Fortran代码集成到python的工具

与线性代数有关的操作；

NumPy 拥有线性代数和随机数生成的内置函数；

总的来说，NumPy适合用于科学计算和机器学习等大型计算工程，甚至成了MatLab的优秀替代者。
SciPy
SciPy是一个开放源码的BSD许可的数学，科学和工程库。 SciPy库依赖于NumPy，它提供了便捷且快速的N维数组操作。构建SciPy库的主要原因是，它能与NumPy数组一起工作，并提供了许多用户友好和高效的数字实践，例如:数值积分和优化的例程。
Matplotlib
Matplotlib是一个Python 2D绘图库，可以生成各种硬拷贝格式和跨平台交互式环境的出版物质量数据。Matplotlib可用于Python脚本，Python和IPython shell，Jupyter笔记本，Web应用程序服务器和四个图形用户界面工具包。
Matplotlib主要用于数据分析最后的数据可视化。当然目前有很Matplotlib的替代者，比如Pychart、echarts。
伙伴们有什么疑问的地方，可以留言！

无论从实际数据量方面来看，还是从业务重要性方面来看，大数据都很大。尽管大数据如此重要，还是只有38%的企业准备好处理不断涌入的大数据。
原因何在?如今的数据具有多种多样的形式，而且来自许多不同的数据源。更为重要的是，除非有需要的那些人易于获得大数据，除非能迅速获得洞察力，否则大数据分析工具的用处并不是很大。
大数据分析工具面临的四大最常见的难题，具体如下：
1.需要在更短的时间内处理更多的数据。
你可曾知道，每天生成的数据多达2.5x1018字节?你能说出贵企业的所有数据源吗?面对众多的传感器、社交媒体、事务记录、手机及更多数据源，企业完全淹没在一片数据汪洋之中。
你是不是借助分析工具来从容地应对数据和决策?咱们还是实话实说吧：要是花很长的时间才获得洞察力，连最先进的分析工具对你也不会有太大的助益。
要是缺乏具有弹性的IT基础设施能够迅速处理数据、提供实时洞察力，你可能要花太长的时间才能做出关键的业务决策。
2.确保合适的人员可以使用分析工具。
你是否觉得贵企业很难将分析结果转化为实际行动?
数字时代的消费者期望从第一次搜索一直到购买都有定制的体验。尽管许多公司通过奖励计划、网站跟踪、cookie和电子邮件收集了大量的数据，但要是无法分析数据，无法提供消费者具体需要的产品或服务，还是会错失商机。
如果合适的人员无法使用合适的工具，你拥有多少海量的客户数据都无济于事。
3.高效地处理数据质量和性能。
每个人之前都碰到过这种项目：项目实在太庞大了，持续时间又长，结果项目越来越庞大，实际上无力跟踪性能指标。这就变成了一个恶性循环：在没有洞察力的情况下贸然做决策，洞察力被长年累月的工作隐藏起来。
设想一下试图在没有任何可靠或一致数据的情况下跟踪需求、利润、亏损及更多指标。是不是听起来觉得近乎不可能?确实如此。
现在不妨设想一下这种基础设施：与你的业务目标相一致，并且提供可以信赖的实用、实时的业务洞察力。是不是觉得听起来好得多?
4.需要可灵活扩展，适合贵公司业务的大数据解决方案。
是否觉得你所有数据的潜力完全被遏制、有待发挥出来?不管数据位于何处，要是它没有合适的基础设施来支持，数据就没有太大的用处。
关键是共享式的、安全有保障的访问，并且确保自己的数据随时可用。想在合适的时候让合适的人员获得合适的洞察力，你就要有一套灵活、可扩展的基础设施，能够可靠地将前端系统与后端系统整合起来，并且让贵公司的业务顺畅运行起来。

　　人工智能、大数据、云计算和物联网的未来发展值得重视，均为前沿产业，多智时代专注于人工智能和大数据的入门和科谱，在此为你推荐几篇优质好文：

1.大数据分析，主要有哪些核心技术？

http://www.duozhishidai.com/article-1938-1.html

2.构建一个企业的大数据分析平台 ，主要分为哪几步？

http://www.duozhishidai.com/article-8017-1.html

3.数据科学，数据分析和机器学习之间，有什么本质区别？

http://www.duozhishidai.com/article-7892-1.html

　　

多智时代-人工智能和大数据学习入门网站|人工智能、大数据、物联网、云计算的学习交流网站

　　大数据时代的浪潮滚滚向前，大数据分析工具作为最前沿的大数据应用技术而备受瞩目。现在市场上也出现了不少大数据产品，那么如何客观地评价大数据分析工具的性能?我们或许可以从以下几个方面综合评测大数据分析工具的软硬功能。

　　NO.1大数据处理能力

　　数据处理能力是一款大数据分析工具性能优良的最基本指标了。而大数据分析工具的数据能力通常是由大数据平台架构决定的，特别在面对海量数据和并发查询时，设计优良的平台架构是数据分析的强力保障。

　　NO.2可视化功能

　　数据可视化已经成为大数据分析工具末端展现的标配了，同时也是实现“二次分析”、“上卷下钻”的主要路径。因此，没有数据可视化功能的大数据分析工具是不完整、不成功的。作为国内大数据产品的佼佼者，大数据魔镜拥有多达500种可视化效果。

　　NO.3易用性

　　当工具性能达到要求后，人们就开始关注使用体验了。大数据分析工具分析工具若要普及市场，就必须将易用性作为设计开发的重要考量。大数据分析工具的价值在于被使用，而且是被广泛的使用，这才能满足大数据分析条件。

　　NO.4实时更新

　　随着互联网和电商平台对于数据分析的需求增大，具备实时更新和数据抓取能力的大数据分析工具似乎更受欢迎。实时更新能力打破了传统数据更新一次就要重开分析的模式，提升了数据分析的效率。

　　NO.5团队协作

　　传统的数据分析软件和工具基本上都不具备团队协作能力，基本上都是一人一工具的模式。而有些新开发的数据分析产品还沿用这样的设定，确实是缺少远见了。大数据魔镜则可以通过设置权限来进行团队数据协作，同时这样的数据操作方法也将改变传统的决策模式。

　　NO.6实施周期和成本

　　性价比是永远无法回避的问题，很多新锐的数据分析工具虽然性能出众，却存在着实施周期长、时间成本高的缺陷，从而拉低了工具的性价比。考虑到云计算技术发展，能快速部署且价格适中的大数据分析工具或许会更受欢迎。

　　随着大数据分析工具技术上的更新换代和概念上的革新，还将会有更多的功能被开发出来。而从一个使用者的角度出发，更多地考量应该是对于自身的适用性而不是功能和性能的高低。世上没有最好的工具，只有最适合的。