
- 外文名
- Big Data Engineer
- 别 名
- 大数据工程师
- 考试类别
- 专业技能水平等级考试
- 中文名
- 大数据工程师
- 考试周期
- 原则上每年两次
-
2021-12-19 10:02:46
1、shell 的AWK命令调用方法
2、shell的sed命令调用方法
3、git指令的vebase/tree/charrity
4、CP/DCP区别
5、try catch exception捕捉错误,else作用是什么?
6、Python list如何增加item.
7、编写如下python 对二维list进行升序排列的函数。
Question:
Sort,given2 darray in order of ascending.Flatten the 2Darray, and sort it such that first sort
order is the first number, second sort order is the second number
‘’’Example:
input_arr = [
[‘55-29’, ‘55-32’, ‘62-3’, ‘84-38’],
[‘36-84’, ‘23-53’, ‘22-58’, ‘48-15’],
[‘72-80’, ‘48-6’, ‘11-86’, ‘73-23’],
[‘93-51’, ‘55-11’, ‘93-49’, ‘72-10’],
[‘93-66’, ‘71-32’, ‘16-75’, ‘55-9’],
]
ouput_arr = [‘11-86’, ‘16-75’, ‘22-58’, ‘23-53’, ‘36-84’, ‘48-6’, ‘48-15’, ‘55-9’, ‘55-11’, ‘55-29’, ‘55-32’, ‘62-3’, ‘71-32’, ‘72-10’, ‘72-80’, ‘73-23’, ‘84-38’, ‘93-49’, ‘93-51’, ‘93-66’]
input_arr1= [ ‘55-29’, ‘55-32’, ‘62-3’, ‘84-38’,‘36-84’, ‘23-53’, ‘22-58’, ‘48-15’,‘72-80’, ‘48-6’, ‘11-86’, ‘73-23’,‘93-51’, ‘55-11’, ‘93-49’, ‘72-10’,‘93-66’, ‘71-32’, ‘16-75’, ‘55-9’]def sort_2d_array(input_arr=input_arr) -> list:
#TODO
pass更多相关内容 -
阿里大数据工程师必读手册.pdf
2019-11-22 20:33:23阿里巴巴大数据开发必读手册 AI 加持的阿里云飞天大数据平台技术揭秘 飞天大数据平台计算引擎 MaxCompute 最新特性 飞天大数据平台智能开发云平台 DataWorks最新特性 -
华为大数据工程师HCIA-Big_Data_V2.0.pdf
2021-01-12 20:47:32华为认证大数据工程师 -
高级大数据工程师面试题库
2017-12-09 18:51:46里面涵盖多种大数据面试题。供进行大数据面试的同学和进行相关学习的同学参考。 -
大数据工程师必备技能
2019-05-19 10:10:15作为大数据工程师,必须掌握的技能,主要包括Hadoop体系,SPSS体系等。 -
美国大数据工程师面试宝典
2014-09-24 10:28:08美国大数据面试宝典,非常有用,董飞的,讲得很不错 -
大数据工程师学习路线图
2019-10-21 12:52:37大数据工程师学习路线图,涉及基础知识,语言基础,工具,前端数据库,应用和图形化及项目实践所需知识概要 -
【67】最新某某学院大数据工程师视频教程下载 .txt
2019-10-06 20:52:57【67】最新某某学院大数据工程师视频教程下载 .txt【67】最新某某学院大数据工程师视频教程下载 .txt【67】最新某某学院大数据工程师视频教程下载 .txt【67】最新某某学院大数据工程师视频教程下载 .txt -
大数据工程师思维导图
2018-06-11 15:21:34大数据的必备入门知识,一图在手,全部拥有。学习,入门,进阶,全部包揽,适合想要在大数据领域入门和进阶的同学。 -
成为大数据工程师所需的技能
2020-12-31 08:52:50我们大多数人对数据工程师是谁有想法,但我们对大数据工程师的角色和责任感到困惑。一旦我们开始用适当的技能集映射这些角色和职责,并找到最有效和最有效的学习路径,这种歧义就会增加。这个"大数据工程师技能"博客...我们大多数人对数据工程师是谁有想法,但我们对大数据工程师的角色和责任感到困惑。一旦我们开始用适当的技能集映射这些角色和职责,并找到最有效和最有效的学习路径,这种歧义就会增加。这个"大数据工程师技能"博客将帮助您了解数据工程师的不同职责。因此,我将用适当的技能来规划这些职责——将引导您通过适当的学习路径。
让我们从了解谁是数据工程师开始。
谁是数据工程师?
简单地说,数据工程师是开发、构建、测试和维护大规模处理系统的完整体系结构的人。
接下来,让我们进一步深入查看数据工程师的工作角色。
数据工程师是做什么的?
数据工程师的工作角色中包含的关键任务包括:
设计、开发、建造、安装、测试和维护完整的数据管理和处理系统。
构建高度可扩展、健壮和容错的系统。
负责完整的 ETL(提取、转换和加载)过程。
确保架构的规划方式满足所有业务需求。
发现数据采集的各种机会,探索使用现有数据的新方法。
提出提高整个系统数据质量、可靠性和效率的方法。
通过将各种编程语言和工具集成在一起,创建完整的解决方案。
创建数据模型以降低系统复杂性,从而提高效率和降低成本。
部署灾难恢复技术
将新的数据管理工具和技术引入现有系统,使其更加高效。
接下来,我想解决一个非常常见的困惑,即数据与大数据工程师之间的差异。
数据工程师和大数据工程师之间的差异
我们正处在数据革命的时代,数据是21世纪的燃料。各种数据源 – 过去二十年中,许多技术已经发展起来, 主要来源是 NoSQL 数据库和大数据框架。
随着大数据在数据管理系统中的出现,数据工程师现在必须处理和管理大数据,并且其角色已升级为大数据工程师。由于大数据,整个数据管理系统变得越来越复杂。因此,现在大数据工程师必须学习多个大数据框架 - NoSQL 数据库,以创建、设计和管理处理系统。
在这个大数据工程师技能博客中,让我们了解大数据工程师的责任。这将有助于我们使用所需的技能集映射数据工程师职责。
数据工程师职责
数据引入
数据引入意味着从各种源获取数据,然后将其引入数据湖。有多种数据源具有不同的格式和数据结构。
数据工程师需要从源中有效地提取数据的技能,这可以包括不同的数据引入方法,如批处理和实时提取。还有各种其他技能可以使数据引入更有效率,如增量加载、并行加载数据等。
当涉及到大数据世界时,随着数据量开始加速,数据引入变得更加复杂, 数据也以不同的格式存在。数据工程师还需要了解数据挖掘和不同的数据引入 API 来捕获和将数据注入数据湖。
数据转换
数据始终以原始格式存在,不能直接使用。它需要从一种格式转换为另一种格式,或者根据用例从一种结构转换为另一种结构。数据转换可以是一个简单或复杂的过程,具体取决于数据源、数据格式和所需输出的多样性。这可能包括各种工具,以及不同语言的自定义脚本,具体取决于数据的复杂性、结构、格式和体积。
性能优化
构建一个既可扩展又高效的系统是一项具有挑战性的工作。数据工程师需要了解如何提高单个数据管道的性能, 优化整个系统。
再次,当我们处理大数据平台时,性能成为一个主要因素。大数据工程师需要确保优化从查询执行到通过报表和交互式仪表板可视化数据的整个过程。这需要各种概念,如分区、索引、非规范化等。
除此之外,数据工程师工作基于行业使用的工具和技术,可以承担各种责任。
总结大数据工程师的职责:
设计、创建、构建和维护数据管道
聚合和转换来自各种数据源的原始数据,以满足功能和非功能性业务需求
性能优化:自动化流程、优化数据交付和重新设计完整架构以提高性能。
使用大数据框架和 NoSQL 数据库处理、转换和管理大数据。
构建完整的基础架构以引入、转换和存储数据,以便进一步分析和业务需求。
如果您将查看和比较不同的大数据工程师职位描述,您会发现大多数职位描述都基于现代工具和技术。在本大数据工程师技能博客中,让我们看一下将聘请您为大数据工程师所需的技能。
大数据工程师技能:成为大数据工程师所需的技能
大数据框架/基于 Hadoop 的技术:随着大数据在 21 世纪初的兴起,一个新的框架诞生了,该框架不仅以分布式方式存储大数据,而且还并行处理数据。
Hadoop 生态系统中有许多工具,可满足不同目的 – 属于不同背景的专业人士。
对于大数据工程师来说,掌握大数据工具是必须的。您需要掌握的一些工具包括:
HDFS(Hadoop 分布式文件系统):顾名思义,它是 Hadoop 的存储部分,它将数据存储在分布式群集中。作为 Hadoop 的基础,HDFS 知识是开始使用 Hadoop 框架的必备知识。
YARN:YARN 通过将资源分配给不同的应用程序并安排作业来执行资源管理。YARN 是在 Hadoop 2.x 中引入的。随着 YARN 的引入,Hadoop 变得更加灵活、高效和可扩展。
MapReduce:MapReduce 是一种并行处理范例,它允许在分布式 Hadoop 存储(即 HDFS)之上并行处理数据。
PIG – HIVE:蜂巢是 HDFS 之上的数据仓库工具。Hive 为 SQL 背景的专业人员提供服务以执行分析。而 Apache Pig 是一种高级脚本语言,用于 Hadoop 之上的数据转换。数据分析器通常使用 Hive 创建报告,而 Pig 则被研究人员用于编程。如果您熟悉 SQL,则两者都很容易学习。
Flume & Sqoop: Flume 是一种用于将非结构化数据导入 HDFS 的工具,而 Sqoop 用于从 RDBMS 导入和导出结构化数据到 HDFS。
动物园管理员:动物园管理员充当在 Hadoop 环境中运行的分布式服务的协调人。它有助于配置管理和同步服务。
Oozie:Oozie 是一个调度程序,它将多个逻辑作业绑定在一起,并有助于完成一个完整的任务。
实时处理框架 (Apache Spark): 实时处理与快速操作是时间的需要.要么是信用卡欺诈检测系统,要么是推荐系统,每个人都需要实时处理。数据工程师了解实时处理框架非常重要。Apache Spark 是一个分布式实时处理框架。它可以很容易地与利用 HDFS 的 Hadoop 集成。您可以参考 Edureka 的 Hadoop 和 Spark 视频,以获得全面的知识。
数据库体系结构:最突出的数据源之一是数据库。对于数据工程师来说,了解数据库设计和数据库体系结构(如 1 层、2 层、3 层和 n 层)至关重要。数据模型和数据架构也是数据工程师应具备的关键技能之一。
基于 SQL 的技术(例如 MySQL):结构化查询语言用于构建、操作和管理存储在数据库中的数据。当数据工程师与关系数据库密切合作时,他们需要对 SQL 具有强大的命令。PL/SQL 在行业中也占有显著地位。PL/SQL 在 SQL 之上提供程序编程功能。
NoSQL 技术:随着组织的要求增长,超出了结构化数据的范围,因此引入了 NoSQL 数据库。它可以存储大量的结构化、半结构化和非结构化数据,根据应用程序要求快速迭代和敏捷结构。
一些使用最突出的数据库是:
HBase 是面向列的 NoSQL 数据库,位于 HDFS 之上,非常适合可扩展和分布式大数据存储。它适用于具有优化的基于读取和范围的扫描的应用。它提供了从 CAP 的 CP(一致性和分区)。
Cassandra 是一个高度可扩展的数据库,具有增量可扩展性。卡桑德拉最好的部分是管理最少,没有单点失败。 它适用于快速和随机、读取和写入的应用程序。它提供 CAP 的 AP(可用和分区)。
MongoDB 是面向文档的 NoSQL 数据库,该数据库没有架构,即您的架构可以随着应用程序的增长而发展。它还为高性能和故障容差复制提供完整的索引支持。它有一个主从架构 – 提供 CAP 的 CP。它被 Web 应用程序和半结构化数据处理严格使用。
Python/R:各种编程语言可以服务于相同的目的。一种编程语言的知识就足够了,因为味道变了,但逻辑保持不变。如果您是初学者,您可以继续使用 Python,因为它的语法简单和良好的社区支持,因此很容易学习。而R有一个陡峭的学习曲线,这是由统计学家开发的。R 主要由分析师和数据科学家用于执行数据分析。
ETL/数据仓库解决方案(信息学):数据仓库对于管理来自异构源的大量数据非常重要,您需要应用 ETL(提取转换负载)。数据仓库用于数据分析和报告,是商业智能中非常重要的一部分。对于大数据工程师来说,掌握数据仓库或 ETL 工具非常重要。掌握一个后,它变得容易学习新的工具,因为基本保持不变。
Informatica – 塔伦德是业内使用的两种知名工具。Informatica – 塔伦德开放式工作室是具有ETL架构的数据集成工具。塔伦德的主要好处是它支持大数据框架。我建议你从塔伦德开始,因为在此学习后,任何DW工具都会成为你的一块蛋糕。
使用 UNIX、Linux、Solaris 或 MS Windows – 使用全行业的各种操作系统。Unix – Linux 是一些使用突出的操作系统 – 大数据工程师至少需要掌握其中一个操作系统。
除了了解完整的数据流和业务模式之外,成为数据工程师的动机之一是薪水。
大数据工程师工作与薪水
"大数据工程师"的平均工资从94,944美元到126,138美元不等。根据Glassdoor的数据,美国高级数据工程师的全国平均工资为181,773美元。
截至 2019 年 11 月,知名职位门户网站列出的职位总数为:
LinkedIn(IN) = 2,746个工作岗位
LinkedIn(美国) = 39,647个工作岗位
的确 -127,091 个工作
玻璃门(美国) = 143,304 个工作岗位
除了了解完整的数据流和业务模式之外,成为数据工程师的动机之一是薪水。
-
大数据工程师培训材料
2017-11-08 10:00:59星环科技大数据培训材料,包含spark、 hadoop 、hbase、kafka配置和架构 -
大数据工程师职业发展以及薪酬一览
2019-10-30 21:59:31大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分析来影响企业的商业决策。 这群人在国外被叫做数据科学家(Data Scientist),这个头衔最早由D.J.Pati和...大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分析来影响企业的商业决策。
这群人在国外被叫做数据科学家(Data Scientist),这个头衔最早由D.J.Pati和Jeff Hammerbacher于2008年提出,他们后来分别成为了领英(LinkedIn)和Facebook数据科学团队的负责人。而数据科学家这个职位目前也已经在美国传统的电信、零售、金融、制造、物流、医疗、教育等行业里开始创造价值。
不过在国内,大数据的应用才刚刚萌芽,人才市场还不那么成熟,“你很难期望有一个全才来完成整个链条上的所有环节。更多公司会根据自己已有的资源和短板,招聘能和现有团队互补的人才。”领英(LinkedIn)中国商务分析及战略总监王昱尧对记者说。
于是每家公司对大数据工作的要求不尽相同:有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是希望能找到懂得产品和市场的应用型人才。正因为如此,很多公司会针对自己的业务类型和团队分工,给这群与大数据打交道的人一些新的头衔和定义:数据挖掘工程师、大数据专家、数据研究员、用户分析专家等都是经常在国内公司里出现的Title,我们将其统称为“大数据工程师”。
王尧认为,在一个成熟的数据驱动型公司,“大数据工程师”往往是一个团队,它意味着从数据的收集、整理展现、分析和商业洞察、以至于市场转化的全过程。这个团队中可能包括数据工程师、分析师、产品专员、市场专员和商业决策者等角色,共同完成从原始数据到商业价值的转换—概括来讲,这是一个支持企业做出商业决策、发掘商业模式的重要群体。
由于国内的大数据工作还处在一个有待开发的阶段,因此能从其中挖掘出多少价值完全取决于工程师的个人能力。已经身处这个行业的专家给出了一些人才需求的大体框架,包括要有计算机编码能力、数学及统计学相关背景,当然如果能对一些特定领域或行业有比较深入的了解,对于其快速判断并抓准关键因素则更有帮助。
虽然对于一些大公司来说,拥有硕博学历的公司人是比较好的选择,不过阿里巴巴集团研究员薛贵荣强调,学历并不是最主要的因素,能有大规模处理数据的经验并且有喜欢在数据海洋中寻宝的好奇心会更适合这个工作。
除此之外,一个优秀的大数据工程师要具备一定的逻辑分析能力,并能迅速定位某个商业问题的关键属性和决定因素。“他得知道什么是相关的,哪个是重要的,使用什么样的数据是最有价值的,如何快速找到每个业务最核心的需求。”联合国百度大数据联合实验室数据科学家沈志勇说。学习能力能帮助大数据工程师快速适应不同的项目,并在短时间内成为这个领域的数据专家;沟通能力则能让他们的工作开展地更顺利,因为大数据工程师的工作主要分为两种方式:由市场部驱动和由数据分析部门驱动,前者需要常常向产品经理了解开发需求,后者则需要找运营部了解数据模型实际转化的情况。
你可以将以上这些要求看做是成为大数据工程师的努力方向,因为根据万宝瑞华管理合伙人颜莉萍的观察,这是一个很大的人才缺口。目前国内的大数据应用多集中在互联网领域,有超过56%的企业在筹备发展大数据研究,“未来5年,94%的公司都会需要数据科学家。”颜莉萍说。因此她也建议一些原本从事与数据工作相关的公司人可以考虑转型。
本文采访了BAT这3家国内互联网公司,以及相关领域的人力资源专家,他们从职场角度为我们解读如何成为大数据工程师以及这类岗位的职场现状。
A 大数据工程师做什么?
用阿里巴巴集团研究员薛贵荣的话来说,大数据工程师就是一群“玩数据”的人,玩出数据的商业价值,让数据变成生产力。大数据和传统数据的最大区别在于,它是在线的、实时的,规模海量且形式不规整,无章法可循,因此“会玩”这些数据的人就很重要。
沈志勇认为如果把大数据想象成一座不停累积的矿山,那么大数据工程师的工作就是,“第一步,定位并抽取信息所在的数据集,相当于探矿和采矿。第二步,把它变成直接可以做判断的信息,相当于冶炼。最后是应用,把数据可视化等。”
因此分析历史、预测未来、优化选择,这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向,他们帮助企业做出更好的商业决策。
找出过去事件的特征
大数据工程师一个很重要的工作,就是通过分析数据来找出过去事件的特征。比如,腾讯的数据团队正在搭建一个数据仓库,把公司所有网络平台上数量庞大、不规整的数据信息进行梳理,总结出可供查询的特征,来支持公司各类业务对数据的需求,包括广告投放、游戏开发、社交网络等。
找出过去事件的特征,最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹,就能够了解这个人,并预测他的行为。“你可以知道他是什么样的人、他的年纪、兴趣爱好,是不是互联网付费用户、喜欢玩什么类型的游戏,平常喜欢在网上做什么事情。”腾讯云计算有限公司北京研发中心总经理郑立峰对《第一财经周刊》说。下一步到了业务层面,就可以针对各类人群推荐相关服务,比如手游,或是基于不同特征和需求衍生出新的业务模式,比如微信的电影票业务。
预测未来可能发生的事情
通过引入关键因素,大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上,工程师正试图通过引入气象数据来帮助淘宝卖家做生意。“比如今年夏天不热,很可能某些产品就没有去年畅销,除了空调、电扇,背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系,找到与之相关的品类,提前警示卖家周转库存。”薛贵荣说。
在百度,沈志勇支持“百度预测”部分产品的模型研发,试图用大数据为更广泛的人群服务。已经上线的包括世界杯预测、高考预测、景点预测等。以百度景点预测为例,大数据工程师需要收集所有可能影响一段时间内景点人流量的关键因素进行预测,并为全国各个景点未来的拥挤度分级—在接下来的若干天时间里,它究竟是畅通、拥挤,还是一般拥挤?
找出最优化的结果
根据不同企业的业务性质,大数据工程师可以通过数据分析来达到不同的目的。
以腾讯来说,郑立峰认为能反映大数据工程师工作的最简单直接的例子就是选项测试(AB Test),即帮助产品经理在A、B两个备选方案中做出选择。在过去,决策者只能依据经验进行判断,但如今大数据工程师可以通过大范围地实时测试—比如,在社交网络产品的例子中,让一半用户看到A界面,另一半使用B界面,观察统计一段时间内的点击率和转化率,以此帮助市场部做出最终选择。
作为电商的阿里巴巴,则希望通过大数据锁定精准的人群,帮助卖家做更好的营销。“我们更期待的是你能找到这样一批人,比起现有的用户,这些人对产品更感兴趣。”薛贵荣说。一个淘宝的实例是,某人参卖家原来推广的目标人群是产妇,但工程师通过挖掘数据之间的关联性后发现,针对孕妇群体投放的营销转化率更高。
B 需要具备的能力
数学及统计学相关的背景
就我们采访过的BAT三家互联网大公司来说,对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。沈志勇认为,缺乏理论背景的数据工作者,更容易进入一个技能上的危险区域(Danger Zone)—一堆数字,按照不同的数据模型和算法总能捯饬出一些结果来,但如果你不知道那代表什么,就并不是真正有意义的结果,并且那样的结果还容易误导你。“只有具备一定的理论知识,才能理解模型、复用模型甚至创新模型,来解决实际问题。”沈志勇说。
如果你对大数据开发感兴趣,想系统学习大数据的话,可以加入大数据技术学习交流扣扣群:4583+数字45782,欢迎添加,私信管理员,了解课程介绍,获取学习资源
计算机编码能力
实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。“因为许多数据的价值来自于挖掘的过程,你必须亲自动手才能发现金子的价值。”郑立峰说。
举例来说,现在人们在社交网络上所产生的许多记录都是非结构化的数据,如何从这些毫无头绪的文字、语音、图像甚至视频中攫取有意义的信息就需要大数据工程师亲自挖掘。即使在某些团队中,大数据工程师的职责以商业分析为主,但也要熟悉计算机处理大数据的方式。
对特定应用领域或行业的知识
在颜莉萍看来,大数据工程师这个角色很重要的一点是,不能脱离市场,因为大数据只有和特定领域的应用结合起来才能产生价值。所以,在某个或多个垂直行业的经历能为应聘者积累对行业的认知,对于之后成为大数据工程师有很大帮助,因此这也是应聘这个岗位时较有说服力的加分项。
“他不能只是懂得数据,还要有商业头脑,不论对零售、医药、游戏还是旅游等行业,能就其中某些领域有一定的理解,最好还是与公司的业务方向一致的,”就此薛贵荣还打了个比方,“过去我们说一些奢侈品店员势利,看人一眼就知道买得起买不起,但这群人恰恰是有敏锐度的,我们认为他们是这个行业的专家。又比如对医疗行业了解的人,他在考虑医疗保险业务时,不仅会和人们医院看病的记录相关,也会考虑饮食数据,这些都是基于对该领域的了解。”
C 大数据工程师的职业发展
如何成为大数据工程师
由于目前大数据人才匮乏,对于公司来说,很难招聘到合适的人才—既要有高学历,同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。
2014年8月,阿里巴巴举办了一个大数据竞赛,把天猫平台上的数据拿出来,去除敏感问题后,放到云计算平台上交予7000多支队伍进行比赛,比赛分为内部赛和外部赛。“通过这个方式来激励内部员工,同时也发现外部人才,让各行业的大数据工程师涌现出来。”
颜莉萍建议,目前长期从事数据库管理、挖掘、编程工作的人,包括传统的量化分析师、Hadoop方面的工程师,以及任何在工作中需要通过数据来进行判断决策的管理者,比如某些领域的运营经理等,都可以尝试该职位,而各个领域的达人只要学会运用数据,也可以成为大数据工程师。
薪酬待遇
作为IT类职业中的“大熊猫”,大数据工程师的收入待遇可以说达到了同类的顶级。根据颜莉萍的观察,国内IT、通讯、行业招聘中,有10%都是和大数据相关的,且比例还在上升。颜莉萍表示,“大数据时代的到来很突然,在国内发展势头激进,而人才却非常有限,现在完全是供不应求的状况。”在美国,大数据工程师平均每年薪酬高达17.5万美元,而据了解,在国内顶尖互联网类公司,同一个级别大数据工程师的薪酬可能要比其他职位高20%至30%,且颇受企业重视。
职业发展路径
由于大数据人才数量较少,因此大多数公司的数据部门一般都是扁平化的层级模式,大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不同团队,而在小公司则需要身兼数职。有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。“这个职位的大部分人会往研究方向发展,成为重要数据战略人才。”颜莉萍说。另一方面,大数据工程师对商业和产品的理解,并不亚于业务部门员工,因此也可转向产品部或市场部,乃至上升为公司的高级管理层。
在了解以上信息之后,你应该对大数据工程师工作内容和职业规划有一定的了解,那么小编为你推荐大数据相关职业的薪酬具体是多少?
大数据人才市场薪酬报告(2015一季度)
2015年3月,白宫经任命DJ Patil作为全国第一个首席数据科学家。这位前PayPal和eBay的执行官,来到白宫之后有了新的任务:帮助美国政府最大限度的进行他们对大数据的投资,并围绕政府机构如何更好使用大数据给出建议。
美国政府正在用实际行动告诉大家,政府的工作已经不再是你印象中的那样了。过去的政府里,计算机还只是一个简单的办公工具,甚至被简单的当成笔和纸的替代品。但是今天,政府们却已经能迅速意识到他们需要新的领导,带领大家充分利用起他们的数据。
还有很多你没有注意到的细节来验证这一趋势:在LinkedIn上快速搜索发现,“数据科学家”这一职位的需求大约36000个。这反应出整个美国都在推动数据科学的进展。
据IDC统计,全球数据总量以每两年翻一番的速度爆发式增长,与此同时自然也催生出了大量与大数据处理相关的职,这群人在国外被叫做数据科学家(Data Scientist),通过对数据的挖掘分析来影响企业的商业决策。
不过在国内,大数据的应用才刚刚萌芽,人才市场还不那么成熟。很多公司会根据已有的资源和短板,招聘能和现有团队互补的人才。有的强调数据库编程、有的突出统计学知识、有的则要求有咨询公司或投行相关的经验,所以title众多,诸如数据挖掘工程师、数据研究员、用户分析专家……不胜其数。
归根结底,我们要了解,企业对数据人才的需求源自企业的定位。专门的数据公司以及大公司的数据部门有完整的数据采集、数据挖掘、数据分析、数据结构的整套体系。而一般的企业多数只需要数据分析师,提供决策辅助和咨询。
所以,繁多的title背后,万变不离其宗的,是数据相关职位的职能,按照职能我们可以分为四类,对应的专业和职责分别是:
1、数据分析——专业:统计学,数学,计算机,信息管理,金融——主要职责:运用工具,提取、分析、呈现数据,实现数据的商业意义
2、 数据挖掘——专业:计算机、统计学、数学——主要职责:机器学习,算法实现
3、 数据工程师——专业:计算机、数学,统计学——主要职责:开发运用简单数据工具,实现数据建模等功能,需要业务理解
4、 数据架构师——专业:计算机、数学、——主要职责;高级算法设计与优化;数据相关系统设计与优化;需要有垂直行业经验
一、 数据分析相关职位
首先,来看下数据分析师的情况。这个职位的主要技能是1(数据分析),附带2(数据挖掘),有少量的3(运用已有工具建模)的需求。因为企业对这个职位的要求是作为业务部门的参考与辅助,因此希望是多面手。Title包括数据分析师(员/专员),数据运营主管等。以深圳为例:
如上,深圳数据分析师(员/专员)的月薪中位数为:¥10375元/月,以上图表显示:最低工资3K-4.5K,最高工资20K-30K。
工资与年资的关系大致如下:
最急需人才的行业如下(工资中位数):
数据显示,深圳数据分析在“互联网/电子商务”行业工资最高,为¥8431 。
地区竞争力排名如下:
分析显示,北上深是最急缺数据人才的城市,平均待遇也最佳。
职位(title)与薪水的对应关系如下:
其中,分析员与分析专员要求0-2年工作经验,数据分析师通常要求3年以上工作经验。
数据分析师招聘要求的表述范本如下:
任职要求:
1、统计学、计量经济学、数据挖掘等数据分析相关的专业本科以上学历。
2、3年以上互联网行业数据分析或数据挖掘经验,有IT大数据分析经验,咨询公司数据分析经验、互联网数据建模分析经验者优先。
3、熟悉MS Office、数据库、统计、数据分析、数据挖掘等相关领域知识、算法或工具
4、具备良好的数据敏感度,能从海量数据提炼核心结果。
可以看到,除非有专门商业数据部门的企业,其他企业一般需要的是个多面手,提供业务参考和咨询。
二、 数据挖掘相关职位
接下来我们来看下数据挖掘工程师的情况。合格的数据挖掘工程师通常需要有3年以上工作经验。一二线城市的大中型企业和数据咨询公司有此类独立职位。主要技能为2和3(数据挖掘和平台应用)。
所谓的一二线城市的大中型企业是指:
所以这是真正的金领。
深圳数据挖掘工程师工资中位数为:¥15166元/月,最低工资8K-10K,最高工资工资30-50K。当然,刚入职的0起点新人起薪是3500-5000。新人需要1年左右的培养期。
按照年资划分,由于此职位在中国出现时间比较短,所以只有一个大致的数据。
行业与地区与数据分析师的情况是一致的。所不同的是,因为此职位更加高端,所以一二线城市需求比较多。
Title和薪水的对应关系如下:
其中,5年以上经验者可以晋升为高级数据挖掘工程师,薪水约为30K-50K。
为了便于理解,我们来发个招聘样本,以下是腾讯的招聘需求:
工作经验:3-5年
薪资范围:¥ 18000-30000
学历要求:硕士以上
职位职责:负责用户产生的大数据在垃圾广告、违法信息等识别过滤领域的应用。负责分析、挖掘、对抗各种产品安全层面的恶意行为;
职位要求:计算机或相关专业本科以上学历,2年以上相关工作经验;
丰富的数据分析经验以及恶意对抗实战经验;
熟悉C/C 开发,有一定的架构能力和良好代码规范;
熟悉linux/unix系统与开发环境;熟悉mysql以及SQL语言
三、 数据工程师相关职位
接下来,我们来看下数据工程师的情况。这是比较复杂的情况,产生的title不计其数。但是归根结底,都是在已有平台和工具的基础上实现开发和运用。大部分我们见到的“数据**工程师”其实都归属此类。技能要求为3(数据结构和算法,分布式计算以及数据库知识等),其次是1和2。就以最常见的title——数据工程师为例,仍然在深圳:
数据工程师这个title由于工作年限、技能水平、负责内容的不同,在深圳的薪酬跨度比较大:
如图,深圳数据工程师工资中位数:¥13156元/月,以上图表显示:最低工资2K-3K,最高工资20K-30K。
该职位是需求最为强劲的,title也很多。
我们可以看到,从2010年至今,需求是越来越大。薪酬也根据相应工作年限而增加。
行业竞争力和地区竞争力与之前的数据分析师、数据挖掘工程师是一致的。北上深需求最为强劲,互联网、地产、金融位列需求最大的前三名。
我们也可以关注下职位数,有兴趣入行的可以看看自己的城市是否上榜:
事实上,不止现在数据工程师需求缺口严重,根据国外的情况,未来这块仍然是大有可为的。美国人才招聘市场的数据分析领先者WANTED Analytics 最近给出报告,增长最快的大数据职位的技能要求如下:
这些岗位上需求增长最快的三项技能分别是:Python编程(96.90%),Linux(76.60%)和SQL结构化查询语言(76%)
与之对应的是中国市场的雇主的招聘范本:
职位职能:大数据工程师
岗位职责:
负责数据采集产品设计和开发;
负责数据仓库建模、数据预处理子系统的设计和开发;
负责数据挖掘功能设计和开发。
任职资格:
有扎实的计算机理论基础, 对数据结构及算法有较强的功底;
熟练java、C 、Python中的任何一种语言,兼有者更佳;
对分布式系统原理有较深的理解,理解数据库和nosql相关理论;
有在网站公司或海量数据处理工作经验,数据分析和挖掘经验者优先;
有使用Go语言开发高性能后台系统经验者优先;
熟悉Sphinx全文检索引擎经验者优先。
四、数据架构师职位情况
最后我们来看看数据架构师,这是整个数据产业上的顶端职位,最终指向也是——首席数据官/架构专家。这个职位一般是猎头职位,要求是4(“软件工程技能牛过多数人的统计学家”;高级算法设计与优化;数据相关系统设计与优化;需要有垂直行业经验)。既要懂行业,又要技术资历(最少3年,一般5年),所以空缺巨大。笔者朋友公司的该职位就动用猎头招了快半年。薪资是30K-50K。当然更多一线公司开出来的是“薪资面议”,你懂的。接下来仍然以深圳为例:
这个职位的统计因为人才缺口巨大,样本过少。所以我们只能大致来看看薪酬待遇,统计结果是偏低的,仅能作为参考。
深圳数据架构师工资中位数:¥23700元/月,以上图表显示:最低工资10K-15K,最高工资无法确定。唯一肯定的是一定超过百万。
企业的招聘要求如下(百度为例):
岗位职责:
负责数据中心空调/配电系统/智能监控等新技术工程研发、验证及落地
负责数据中心基础设施智能监控平台需求梳理、功能分析、运行数据分析与挖掘
参与数据中心运维调优,制定优化控制策略
负责智能数据中心架构设计,推动基础设施监控平台与IT系统信息融合及联动
任职资格:
本科及以上学历
5年或以上数据中心行业设计、咨询、建设工作经验,熟悉空调/电气/监控系统架构
熟悉基础设施系统各组件、系统参数计算、设备选型
有开阔的技术视野,较强的流程分析和优化能力
较强的项目协调及管理能力,良好团队协作能力
五、 总结
综上所述,数据相关的职位,指向的是数据采集、数据挖掘、数据分析、数据结构四大技能,即使初级职位,要求也是一专多能。高级职位则要求每个模块都有理解,对统计、编程、行业理解都要求很高。
未来是一个数据的时代,也是数据科学家的时代!
根据以上内容,小编为大家推荐一些相关内容
-
大数据工程师简历3份
2020-12-31 08:52:53个人技能1深刻理解hdfs分布式文件系统存储结构和高可用原理2熟练掌握hadoopmapreduce计算框架编程,对yarn的资源调度,作业监控有一定认识3掌握stormstreaming编程,对定时批量任务处理,分布式rpc有一定认识4深刻...个人技能
1
深刻理解
hdfs
分布式文件系统存储结构和高可用原理
2
熟练掌握
hadoop mapreduce
计算框架编程,对
yarn
的资源调度,作业监控有一定认识
3
掌握
storm streaming
编程,对定时批量任务处理,分布式
rpc
有一定认识
4
深刻了解
Spark
底层运行机制,
4
熟练掌握
scala
编程,能运用
scala
进行
spark RDD
,
spark streaming
编程
5
熟悉
flume
,
kafka
等日志收集,分发框架的使用,能够将他们和
storm
,
spark
进行整合
进行数据的实时处理
6
能够熟练运用
hive
数据仓库工具,对日志数据进行查询,统计等数据操作,并且有一定
的数据优化经验
7
能将
hive
和
spark sql
进行整合,进行数据查询等相关操作
8
熟悉
hbase
数据库的使用,及其编程
9
熟悉
redis
内存数据库,能搭建
redis
高可用集群及其编程
10
熟悉
ELK
技术栈,了解
ElasticSearch
,
Logstash
的整合使用
11
掌握
Sqoop
数据迁移工具的使用,能熟练的将数据从不同的存储介质进行迁移
12
了解
linux
系统,熟悉常用的
linux
的
shell
命令,能在
linux
系统下搭建开发环境
13
熟练掌握
JavaSE
,
深刻理解面向对象设计思想,
熟练使用
IO
流操作和集合框架,
网络编
程等
JavaSE
主流技术。
14
能使用反射、注解、动态代理等
Java
高级技术,对代码的封装抽取及其性能优化有点一
定的经验。
15
熟悉
Struts
,
Spring
,
Hibernate
,
Servlet
,
Jsp
等
WEB
编程技术
16
能熟练使用
Oracle
,
MySql
主流数据库技术,擅长
SQL
语句的编写
-
大数据工程师需要哪些基础知识?
2019-10-31 19:07:19大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分析来影响企业的商业决策。 这群人在国外被叫做数据科学家(Data Scientist),这个头衔最早由D.J.Pati和... -
2022年国内外大数据工程师薪资大比拼
2022-03-08 00:06:362022年大数据就业前景怎么样,大数据的发展势不可挡,已经影响到我们生活的方方面面,随着大数据的不断普及,未来将会与更多的行业与之相结合,就业前景非常好。越来越多的组织,无论大小,市场新面... -
大数据工程师学习路线_大数据工程师初级到高级
2019-03-23 16:16:31大数据工程师 大数据学习路径中会学习并实践 Java、Scala、Hadoop、HBase、Mahout、Sqoop及Spark等大数据技术,本路径通过大量的动手实验,在实验数据集上实践各种大数据工具,帮助你成长为具备动手能力的大数据... -
阿里云大数据工程师认证通关秘籍.docx
2019-05-22 16:51:05知己知彼知大纲,我和另外几位同事都通过了认证,感觉考试大纲很靠谱儿,把考试大纲里提到的知识点都掌握,就可以通过考试。 -
大数据工程师简历范本02
2020-12-31 08:52:52个人技能1深刻理解hdfs分布式文件系统存储结构和高可用原理2熟练掌握hadoopmapreduce计算框架编程,对yarn的资源调度,作业监控有一定认识3掌握stormstreaming编程,对定时批量任务处理,分布式rpc有一定认识4深刻... -
阿里云ACP大数据工程师认证,ACP,阿里云ACP认证,阿里云认证,大数据工程师认证
2020-10-29 10:41:20阿里云ACP大数据工程师认证 先放证书镇楼 ACP认证考试心得 阿里云ACP级专业工程师认证考试不难,只要系统性复习官方文档一次考过其实并不难。大家普遍给出的意见都是要着重复习《阿里云官方文档》,考试题目大多是... -
大数据工程师技术栈探讨
2022-01-14 23:12:25数据技术的潜力巨大,但是存在着很多问题。比如,人才基础的薄弱,很多来自Java...商业应用开发难度系数大,大的互联网科技公司才有大数据岗位,就业难度变大。本文旨在整理出大数据相关技术栈,供感兴趣同学学习指教。 -
大数据工程师简历怎么写,更受到HR青睐?
2020-09-22 10:27:57大数据工程师,作为近年来的新兴技术岗,瞄准这个岗位的人也不少。今天我们就来分享,大数据工程师简历怎么写,更受到HR青睐? 通常来说,HR筛选简历,比较关注的几个部分如下: 毕业学校以及学历,对应的专业... -
java工程师和大数据工程师谁更好找工作?
2021-01-11 16:51:30java工程师和大数据工程师谁更好找工作? 【导语】从目前的社会形式来看,Java的工作岗位比较多一些,就业人群也比较大,大数据作为新兴职业,虽然需求量也是很大的,但是就业门槛比较高,对于专业技能的要求也是比较... -
这次,大数据工程师赢了!
2019-06-12 17:49:03大数据时代已经到来,它俨然成为了企业的战略资源,成为了提高竞争力的关键要素。为此,各个行业都开始用数据指导决策,从微信朋友圈、淘宝京东等电商APP的商品推荐 ,今日头条、抖音快手等媒体的新闻和视频推送,... -
大数据工程师、BI工程师、数据库工程师什么区别?
2018-12-27 14:38:56大数据开发工程师、BI工程师、数据仓库工程师、ETL工程师、有什么区别? 今天我们来看一位大神如何解释。 BI,商务智能。BI工程师即为从事商务智能行业的工程师。从需求分析师到数据仓库架构师、到etl工程师、数据... -
大数据工程师干不过35岁?大数据职业发展前景如何?
2020-02-08 15:15:49大数据工程师干不过35吗?事实上,大数据工程师现在十分吃香,而且工作经验越高越抢手,不存在“干不过35岁”的说法。如果大家真的掌握了大数据技术,其职业发展前景是完全不用担心的。 大数据工程师干不过 35岁 ... -
大数据工程师体系职业路径全解
2021-04-22 17:10:25这是我的第26篇原创今天给大家分享一下大数据体系的职业,以及可能的发展路径。大数据体系全貌组织架构的原则是因事设岗,因岗定人。换句话说,有什么问题,决定了做什么事情,决定了需要什么样的组织... -
阿里《大数据工程师必读手册》.pdf
2022-04-27 07:57:47阿里《大数据工程师必读手册》 -
开课吧(完结)滴滴认证资深大数据工程师培养计划选修课
2022-03-22 23:48:4623.开课吧(完结)滴滴认证资深大数据工程师培养计划选修课 22.开课吧(完结)滴滴认证资深大数据工程师培养计划 21.unity3d MOBA类实时竞技游戏开发 带工程素材 20.开课吧(完结)企业级任务型对话机器人【4,5,6】 19.... -
一名大数据新手,如何成为大数据工程师?附上学习路线
2020-01-23 13:13:51这几年来大数据非常的热门,到处都有大数据分析的演讲。 演讲内容通常是宣传各种大数据分析成功的案例。 但实际上大数据该怎么做呢? 大部份的讨论似乎都仅止于怎么搜集大量的数据, 然后用个工具(hadoop/spark)后... -
初级大数据工程师一般要掌握什么技能 2021-11-16
2021-11-16 01:25:33初级大数据工程师一般要掌握什么技能: 1、Linux操作系统 2、shell脚本 3、oracle数据库 4、sql编程 5、python脚本 6、hadoop平台 7、hive数据库 8、kettle工具 9、sqoop工具 10、如果数学好懂点算法更好