大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。下面整理了一些大数据分析能用到的工具，助力大家更好的应用大数据技术。

一、hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

二、SQL

毫不夸张地说，SQL是数据方向所有岗位的必备技能，入门比较容易，概括起来就是增删改查。SQL需要掌握的知识点主要包括数据的定义语言、数据的操纵语言以及数据的控制语言；在数据的操纵语言中，理解SQL的执行顺序和语法顺序，熟练掌握SQL中的重要函数，理解SQL中各种join的异同。总而言之，要想入行数据分析，SQL是必要技能。

三、 Smartbi

Smartbi是国内领先的BI厂商，企业级商业智能和大数据分析平台，经过多年的持续发展，整合了各行业的数据分析和决策支持的功能需求。

Smartbi满足最终用户在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI智能分析等大数据分析需求。产品广泛应用于领导驾驶舱、KPI监控看板、财务分析、销售分析、市场分析、生产分析、供应链分析、风险分析、质量分析、客户细分、精准营销等管理领域。官网的产品培训文档也比较齐全，而且是公开的，学习操作易上手。

Smartbi拥有十多年的发展历史，综合全面的BI工具，包含查询、报表、自助分析、仪表盘、移动应用、分析报告、数据挖掘、AI等模块，并发展为多个产品线，在使用上手方面更具业务友好性。一直定位为BI工具，满足BI产品各个发展阶段，广泛应用于金融、政府、电信、企事业单位等领域。

四、SPSS软件

我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。

五、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。

Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。

Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议，一种通过网络从远程计算机程序上请求服务)、ETL(Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载)等等。Storm的处理速度惊人：经测 试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。

六、SAS软件

SAS相对SPSS其实功能更强大，SAS是平台化的，EM挖掘模块平台整合，相对来讲，SAS比较难学些，但如果掌握了SAS会更有价值，比如离散选择模型，抽样问题，正交实验设计等还是SAS比较好用，另外，SAS的学习材料比较多，也公开，会有收获的。

对于企业的IT部门来说，主要还是用BI工具进行数据分析，传统重型BI的代表厂商有SAP、ORACEL等，而tableau、powerbi等不少自助式BI逐渐成为趋势，国内具有代表性的是Smartbi。

目前国内的BI软件市场层次不一，想找到适合自己就要更多的去体验试用。不过能真正提供全部产品功能实操体验的很少，一般都是demo体验。如果真的有报表或数据分析需求的朋友建议可以试试Smartbi。Smartbi是目前国内我觉得专业资深且产品线最全面的BI厂商，企业只需要安装部署一次，就可以实现中国式复杂报表、自助探索分析和数据挖掘产品的使用，他们的官网就有提供个人免费版本，有相关需求的朋友可以自行下载试用。

我给你一份数据分析师常用工具指南，按照这份指南，小白也能成为数据分析高手！

这是一份入门到熟练的工具指南，并不包含数据挖掘等高阶内容。

Step1：Excel学习掌握

所用的工具正是职场中最常用的Excel！

①重点函数学习

重点是了解各种函数：Vlookup、sum，count，sumif，countif，find，if，left/right，时间日期函数、文本函数

②数据透视表学习

我曾说过，如果Excel只能学习一个功能，那唯一能入选的就是数据透视表。

掌握vlookup和数据透视表是最具性价比的两个技巧。学会vlookup，SQL中的join，Python中的merge很容易理解。学会数据透视表，SQL中的group，Python中的pivot_table也是同理。

这两个搞定，基本10万条以内的数据统计没啥难度，80%的办公室白领都能秒杀。

Step2：数据可视化

所用工具：PowerBi、Excel

数据分析界有一句经典名言，字不如表，表不如图。

数据可视化是数据分析的主要方向之一。首先要了解常用的图表：

Excel的图表可以100%完成上面的图形要求，但这只是基础。后续的进阶可视化，势必要用到编程绘制。为什么？比如常见的多元分析，你能用Excel很轻松的完成？但是在IPython只需要一行代码。

其次掌握BI，下图是微软的BI。

BI（商业智能）和图表的区别在于BI擅长交互和报表，更擅长解释已经发生和正在发生的数据。将要发生的数据是数据挖掘的方向。

BI的好处在于很大程度解放数据分析师的工作，推动全部门的数据意识，另外降低其他部门的数据需求（万恶的导数据）。

BI市面上的产品很多，基本都是建立仪表盘Dashboard，通过维度的联动和钻取，获得可视化的分析。最后需要学习可视化和信息图的制作。

Step3：数据库学习

所用工具：SQL

Excel对十万条以内的数据处理起来没有问题，但是互联网行业就是不缺数据。但凡产品有一点规模，数据都是百万起。这时候就需要学习数据库。

越来越多的产品和运营岗位，会在招聘条件中，将会SQL作为优先的加分项。

SQL是数据分析的核心技能之一，从Excel到SQL绝对是数据处理效率的一大进步。

学习围绕Select展开。增删改、约束、索引、数据库范式均可以跳过。主要了解where，group by，order by，having，like，count，sum，min，max，distinct，if，join，left join，limit，and和or的逻辑，时间转换函数等。如果想要跟进一步，可以学习row_number，substr，convert，contact等。另外不同数据平台的函数会有差异，例如Presto和phpMyAdmin。再有点追求，就去了解Explain优化，了解SQL的工作原理，了解数据类型，了解IO。以后就可以和技术研发们谈笑风生，毕竟将“这里有bug”的说话，换成“这块的数据死锁了”，逼格大大的不同。SQL的学习主要是多练，网上寻找相关的练习题，刷一遍就差不多了。

好了，经过这三步之后，你已经具备数据分析基本功力，剩下的需要训练的就是你的思维和实际的业务分析能力了。

鉴于你是传统会计专业出身，那就需要考虑目前你是需要往哪方面发展，一般数据分析师职业规划有单纯的数据分析岗、数据建模岗。

下面我们就说说一般数据分析师常用的工具有哪些？

1、数据处理工具：Excel

数据分析师，在有些公司也会有数据产品经理、数据挖掘工程师等等。他们最初级最主要的工具就是Excel。有些公司也会涉及到像Visio，Xmind、PPT等设计图标数据分析方面的高级技巧。数据分析师是一个需要拥有较强综合能力的岗位，因此，在有些互联网公司仍然需要数据透视表演练、Vision跨职能流程图演练、Xmind项目计划导图演练、PPT高级动画技巧等。

在Excel，需要重点了解数据处理的重要技巧及函数的应用，特别是数据清理技术的应用。这项运用能对数据去伪存真，掌握数据主动权，全面掌控数据；Excel数据透视表的应用重在挖掘隐藏的数据价值，轻松整合海量数据：各种图表类型的制作技巧及Power Query、Power Pivot的应用可展现数据可视化效果，让数据说话。因此想从事数据分析岗位的，需要快速掌握快各种Excel数据处理与分析技巧。

2、数据库：MySQL

Excel如果能够玩的很转，能胜任一部分数据量不是很大的公司。但是基于Excel处理数据能力有限，如果想胜任中型的互联网公司中数据分析岗位还是比较困难。因此需要学会数据库技术，一般Mysql。你需要了解MySQL管理工具的使用以及数据库的基本操作；数据表的基本操作、MySQL的数据类型和运算符、MySQL函数、查询语句、存储过程与函数、触发程序以及视图等。比较高阶的需要学习MySQL的备份和恢复；熟悉完整的MySQL数据系统开发流程。

3、数据可视化：Tableau & Echarts

如果说前面2条是数据处理的技术，那么在如今“颜值为王”的现在，如何将数据展现得更好看，让别人更愿意看，这也是一个技术活。好比公司领导让你对某一个项目得研究成果做汇报，那么你不可能给他看单纯的数据一样，你需要让数据更直观，甚至更美观

如何理解数据可视化？像我们以前上学的时候学过的柱状图，饼状图，也是数据可视化的一种。只是在现在，简单的柱状图已经不能满足工作所需。目前比较流行的商业数据可视化工具是Tableau & Echarts。

Echarts是开源的，代码可以自己改，种类也非常丰富，这里不多做介绍，可以去创建一个工作区了解下。

4、大数据分析：SPSS & Python& HiveSQL 等

如果说Excel是“轻数据处理工具”，Mysql是“中型数据处理工具”那么，大数据分析，涉及的面就非常广泛，技术点涉及的也比较多。这也就是为什么目前互联网公司年薪百万重金难求大数据分析师的原因

大数据分析需要处理海量的数据，这对于数据分析师的工作能力要求就比较高，一般来说，大数据分析师需要会

（1）会使用Hive的SQL方法HiveQL来汇总、查询和分析存储在Hadoop分布式文件系统上的大数据集合。知道Hive如何在Hadoop生态系统进行数据分析工作。

（2）会一些SPSS modeler基础应用，这部分技能对应数据建模分析师

（3）何使用R语言进行数据集的创建和数据的管理等工作；会使用R语言数据可视化操作，让学员学会如何用R语言作图，如条形图、折线图和组合图等等；是R语言数据挖掘，本部分数据挖掘工程师

（4）用Python来编写网络爬虫程序，从页面中抓取数据的多种方法，提取缓存中的数据，使用多个线程和进程来进行并发抓取等

总结一下：

写在最后

1、自身定位很重要

以上所有介绍的这些技能，都是根据你的自身定位而言，如果你定位只是小企业的数据分析岗位，那你也许只要把Excel玩的很6就可以了。但是从长远来看，这部分工作岗位，终将会被大数据分析所取代。这也就是为什么之前所说互联网公司重金难求大数据分析师了。

2、终身学习很重要

为什么这么说，你会发现这个是时代的脚步越来越快了，你一不学习就很容易被时代淘汰，暂时把自己定位小型企业数据分析师的人，别忘了还是要去学习现在更流行的更有趋势的技术。自己的工作领域能跟互联网挂钩的尽量往上靠，毕竟这是大势所趋。

最最后

善用数据分析师常用工具，祝愿大家早日成为一名优秀的数据分析师！

随着大数据信息化时代的到来，数据分析是各行各业都绕不开的一个话题，企业在发展过程中积累了大量的数据，对这些数据进行专业的分析，能够促进企业更好更精准的发展，能够有效防范企业拍脑袋决策的经营风险。通过数据分析把看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律，够帮助管理者进行判断和决策，以便采取适当策略与行动。

俗话说：工欲善其事，必先利其器。一款好的数据分析工具可以让你事半功倍，瞬间提高学习工作效率。在此，笔者列出了被提及频率最高且使用最多的几种数据分析工具。

1、EXCEL

Excel作为入门级的工具，是最基础也是最主要的数据分析工具。Excel具备多种强大功能，比如创建表单，数据透视表，VBA等，Excel的系统如此庞大，以至于没有任何一项分析工具可以超越它，确保了大家可以根据自己的需求分析数据。它能够满足绝大部分数据分析工作的需求，同时也提供相当友好的操作界面，对于具备基本统计学理论的用户来说是十分容易上手的，但处理的数据量较小。

2、SPSS

SPSS是世界上最早采用图形菜单驱动界面的统计软件，它最突出的特点就是操作界面极为友好，输出结果美观漂亮。用户只要掌握一定的Windows操作技能，精通统计分析原理，就可以使用该软件为特定的科研工作服务。SPSS采用类似EXCEL表格的方式输入与管理数据，数据接口较为通用，能方便的从其他数据库中读入数据。其统计过程包括了常用的、较为成熟的统计过程，完全可以满足非统计专业人士的工作需要。

3、SAS

SAS是全球最大的软件公司之一，是全球商业智能和分析软件与服务领袖。SAS由于其功能强大而且可以编程，很受高级用户的欢迎，也正是基于此，它是最难掌握的软件之一，多用于企业工作之中。你需要编写SAS程序来处理数据，进行分析。如果在一个程序中出现一个错误，找到并改正这个错误比较困难。

4、R

R是一门用于统计计算和作图的语言，它不单是一门语言，更是一个数据计算与分析的环境。其最主要的特点是免费、开源、各种各样的模块十分齐全，在R的综合档案网络CRAN中，提供了大量的第三方功能包，其内容涵盖了从统计计算到机器学习，从金融分析到生物信息，从社会网络分析到自然语言处理，从各种数据库各种语言接口到高性能计算模型，可以说无所不包，无所不容，这也是为什么R正在获得越来越多各行各业的从业人员喜爱的一个重要原因。

5、Python

Python是一种面向对象、解释型计算机程序设计语言。Python语法简洁而清晰，阅读一个良好的Python程序就感觉像是在读英语一样。Python在数据分析和交互、探索性计算以及数据可视化等方面都显得比较活跃。Python也具有强大的编程能力，这种编程语言不同于R或者matlab，python有些非常强大的数据分析能力，并且还可以利用Python进行爬虫，写游戏，以及自动化运维，在这些领域中有着很广泛的应用，这些优点就使得一种技术去解决所有的业务服务问题，这就充分的体现的Python有利于各个业务之间的融合。如果使用Python，能够大大的提高数据分析的效率。

6、SQL

毫不夸张地说，SQL是数据方向所有岗位的必备技能，入门比较容易，概括起来就是增删改查。SQL需要掌握的知识点主要包括数据的定义语言、数据的操纵语言以及数据的控制语言；在数据的操纵语言中，理解SQL的执行顺序和语法顺序，熟练掌握SQL中的重要函数，理解SQL中各种join的异同。总而言之，要想入行数据分析，SQL是必要技能。

7、BI工具

商业智能BI是为数据分析而生的，它诞生的起点很高。其目的是缩短从商业数据到商业决策的时间，并利用数据来影响决策。BI工具都是按照数据分析流程设计的。先是数据处理，数据清洗，然后是数据建模，最后是数据可视化，用图表来识别问题并影响决策。

以亿信ABI为例，其融合了ETL数据处理、数据建模、数据可视化、数据分析、数据填报、移动应用等核心功能。可以通过表单填报、表格填报实现数据的采集与补录，可预先对数据源进行整合及处理，通过简单的拖拽即可生成各式各样的可视化图表。