2019-07-19 12:36:55 dvfghj 阅读数 1350
  • 2020软考数据库系统工程师-上午真题解析培训视频课程

    2020软考数据库系统工程师培训教程:掌握数据库系统工程师历年上午真题考查内容及考核方式,为考试和自身能力提高打下坚实基础。 适合对象: 希望将来从事数据库开发设计与数据库运行维护的IT从业者;希望通过软考-数据库系统工程师考试的学员 (一次付费学习课程,直到通过考试,并且每年真题解析免费更新 )

    123229 人正在学习 去看看 任铄

众所周知,当下大数据开发工程师是一个很吃香的职业,现在大数据技术人才短缺,在互联网圈里越久,资历越老,就越受欢迎。

但最近小骇发现了一个“大数据工程师干不过35岁”的话题引人注目。大数据工程师真的这么神奇吗?听起来这么恐怖的大数据工程师究竟是个啥职位??在这里插入图片描述

谈大数据工程师职位之前我们先来聊聊互联网的职位发展,2018年是互联网低迷成为大数据开发工程师,别墅靠大海的一年。

近来阿里巴巴、陌陌、知乎等大厂都纷纷传来裁员的消息,有的人前一天还在通宵忙着新品上线,第二天就被裁员了,有人早上还写着、改着BUG,下午就被人事约谈。

而与之相对的,是19届毕业生已经开始走上舞台。据某招聘网站调查显示北京地区应届生期望薪资更是达到12992元。

如果你想要学好大数据最好加入一个好的学习环境,可以来这个Q群251—956–502 这样大家学习的话就比较方便,还能够共同交流和分享资料

“一代新人换旧人”,大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业。

通过对数据的挖掘分析来影响企业的商业决策。毫无疑问,对于未来,大数据必定会带来崭新的格局。

从移动支付到共享经济,从万物互联到智慧城市,从大数据这一概念被初步接受,到刷屏的年度账单、听歌报告,大数据所创造的价值正在一步一步体现。

互联网、金融、电信、医疗、交通、民生,各行业都开始进行大数据应用,大数据的应用场景在未来更是有着无限可能。

大数据工程师究竟是个啥神仙职位呢?先让我们来了解一下大数据是什么。

大数据本质也是数据,但是又有了新的特征,包括数据来源广、数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、

数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等。

在大数据行业中有很多领域;通常来说它们可以被分为两类:大数据工程,大数据分析。

这两个领域互相独立又互相关联。数据工程涉及平台和数据库的开发、部署和维护。

大数据工程师需要去设计和部署这样一个系统,使相关数据能面向不同的消费者及内部应用。对应的职位是大数据开发工程师、ETL工程师、算法工程师。

数据分析则是利用数据平台提供的数据进行知识提取;数据分析包括趋势、图样分析以及开发不同的分类、预测预报系统。

对应的职位是数据分析师、数据挖掘工程师和数据科学家。

随着大数据的爆发,中国IT业内环境也将面临新一轮的洗牌,不仅是企业,更是从业人员转型可遇而不可求的机遇。

2020-02-08 15:15:49 juan777 阅读数 163
  • 2020软考数据库系统工程师-上午真题解析培训视频课程

    2020软考数据库系统工程师培训教程:掌握数据库系统工程师历年上午真题考查内容及考核方式,为考试和自身能力提高打下坚实基础。 适合对象: 希望将来从事数据库开发设计与数据库运行维护的IT从业者;希望通过软考-数据库系统工程师考试的学员 (一次付费学习课程,直到通过考试,并且每年真题解析免费更新 )

    123229 人正在学习 去看看 任铄

大数据工程师干不过35吗?事实上,大数据工程师现在十分吃香,而且工作经验越高越抢手,不存在“干不过35岁”的说法。如果大家真的掌握了大数据技术,其职业发展前景是完全不用担心的。

大数据工程师干不过 35岁

 

大数据为什么这么火?

 

与以往相比,我们除了有能力存储更多的数据量之外,还要面对更多的数据类型。这些数据的来源包括网上交易、网络社交活动、自动传感器、移动设备以及科学仪器等等。除了那些固定的数据生产源,各种交易行为还可能加快数据的积累速度。比如说,社交类多媒体数据的爆炸性增长就源于新的网上交易和记录行为。数据永远都在增长之中,但是,只有存储海量数据的能力是不够的,因为这并不能保证我们能够成功地从中搜寻出商业价值。

想领取大数据视频资料加微x号:VIP452141领取

大数据有哪些岗位?

 

目前,大数据技术的应用在各行各业都取得了成绩不菲的的表现。无论是当下发展得如火如荼的电商行业,还是在一些传统行业,大数据技术都得到了广泛的应用,因此就业前景十分广阔。大数据的就岗位大致可以划分为技术和管理两个方向,具体岗位分工如下:

 

大数据开发工程师:负责公司大数据平台的开发和维护,负责大数据平台持续集成相关工具平台的架构设计与产品开发等。

 

数据分析师:进行数据搜集、整理、分析,针对数据分析结论给管理销售运营提供指导意义的分析意见。

 

数据挖掘工程师:商业智能,用户体验分析,预测流失用户等;需要过硬的数学和统计学功底以外,对算法的代码实现也有很高的要求。

 

数据库开发:设计,开发和实施基于客户需求的数据库系统,通过理想接口连接数据库和数据库工具,优化数据库系统的性能效率等。

 

数据管理:数据库设计、数据迁移、数据库性能管理、数据安全管理,故障检修问题、数据备份、数据恢复等。

 

数据科学家:清洗,管理和组织(大)数据,利用算法和模型提高数据处理效率、挖掘数据价值、实现从数据到知识的转换。

 

数据产品经理:把数据和业务结合起来做成数据产品。

 

大数据岗位晋升发展规划?

 

初入职场的 3 年,主要的工作内容就是夯实基础,此时基本处于「完成上级交付的任务」这样的阶段。但在这个过程中,员工不能仅仅完成任务了事,而是要不断思考为什么上级要布置这个任务,这个需求是怎么来的,用于解决什么问题,有没有更好的解决方案等等。

 

之后的 3 年,也就是职业生涯的 3-5 年,作为大数据工程师,需要达到一个小 leader 的层级,即带领一个小团队(可以仅仅有几个人)负责某一个某块或是功能的研发,此时在上个阶段积累的经验和关于解决方案的各种想法的作用便凸显出来。而此时作为小团队负责人的角色,程序员更多地需要关注上下游的逻辑,能够形成完整的逻辑链条。

 

工作经验的 5-8 年,此时大数据工程师已经进阶成了大数据技术负责人,可以独立负责某一个产品的研发,可以成功地推动产品从 0-1 的阶段,此时更多需要关注的便是跨部门之间的合作与沟通,确保研发行程的按时交付。与此同时,更多地关注一些产品设计方面的内容,会对进一步的晋升很有帮助。

 

末后一个阶段,即工作 10 年以上,此时达到研发总监或是更高的职位会是一个比较理想的状态,而对于这个层次的要求,是对于整个行业能有比较清晰深入的判断,能够感知未来技术发展的方向并为公司提前布局。

 

所以,大数据工程师干不过35岁,只是谣言!大数据职业发展前景是很好的,但是任何行业都不存在铁饭碗,大家应该早点规划好自己的职业发展路线,不断学习进步,这样才是正确的职业价值观!

大数据为什么这么火?企业现在大数据人才招聘更注重哪些技能?博学谷小编通过在招聘网站的大量招聘数据发现,目前大部分企业招聘要求中重点体现5点大数据的核心技术。

大数据行业必须掌握的核心技术

 

  第一:大数据采集技术

 

  大数据采集分为两个重要的方面,首先是大数据智能感知层:必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。其次是基础支撑层:重点攻克分布式虚拟存储技术,大数据获取、存储、组织、分析和决策操作的可视化接口技术,大数据的网络传输与压缩技术,大数据隐私保护技术等。

 

  第二:大数据预处理技术

 

  大数据预处理技术主要完成对已接收数据的辨析、抽取、清洗等操作。数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型,以达到快速分析处理的目的。清洗是对数据通过筛选去除无效数据和不精准数据,从而提取出有效数据。

 

  第三:大数据存储及管理技术

 

  大数据存储与管理需要用存储器将采集到的数据存储起来,建立相应的数据库,并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。

 

  第四:大数据分析技术挖掘技术

 

  大数据分析技术是改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

  大数据的数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

 

  第五:大数据展现与应用技术

 

  大数据展现与应用技术是大数据的最终目的。大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来,为人类的社会经济活动提供依据,从而提高各个领域的运行效率,大大提高整个社会经济的集约化程度。在我国,大数据将重点应用于以下三大领域:商业智能、政府决策、公共服务。

 

  目前大数据行业所涉及到的核心技术,就是采集、处理、储存、分析和应用这五个大的方面。虽然与之前我们接触过的数据处理分析相对应,每个环节看似简单,而在实际应用中,由于数据量较大,数据种类较多,目前只能通过大数据技术实现最终的数据分析以及应用。在市场化经济的时代,数据支撑将成为企业的发展依据。所以能够充分掌握大数据相关技术,一定可以在未来职场发展中获得更好的机会。

2016-07-19 14:32:36 qq_35441390 阅读数 2224
  • 2020软考数据库系统工程师-上午真题解析培训视频课程

    2020软考数据库系统工程师培训教程:掌握数据库系统工程师历年上午真题考查内容及考核方式,为考试和自身能力提高打下坚实基础。 适合对象: 希望将来从事数据库开发设计与数据库运行维护的IT从业者;希望通过软考-数据库系统工程师考试的学员 (一次付费学习课程,直到通过考试,并且每年真题解析免费更新 )

    123229 人正在学习 去看看 任铄

     面对面试官如何才能证明你的实力,如果是英语相关职位你可以出示自己的托福、雅思证书,可是大数据可以考取什么证书?大数据培训公司发放的证书真的不具备权威性吗?前些天在网络火爆的工信部认证的某大数据培训又是什么情况?我们一起来聊聊证书。

  判断一个证书是不是正规的,方法很简单,你可以上相关网站进行查询。大数据工程师证书可登录:www.ceiaec.org

(工信部教育与考试中心官网)进行查询,查询时间是在证书发放的一星期后。既然是工信部认证,而在官网上也能查询到,那么此证书的真实性在98%以上。

  此外,如果是在培训公司培训结束后组织的考试,你可以看看该机构是否是工信部认证的人才培养基地(并非不是证书就不正规),查询方法:

  首先登录工信部教育与考试中心:www.ceiaec.org

,然后点击导航栏的培养工程:

  再点击左侧的体系建设:

  最后点击体系建设,就会出现人才培养工程培训基地名单了,你只需在名单中找到你想要查询的企业名称就可以了。

  如果是工信部认证的人才培养工程培训基地,那么对该公司和考取的证书你应该是可以信赖的,工信部的审核时非常严格的,能经过认证的培训公司实力也不容小觑。下面是工信部大数据工程师的证书样本,大家可做参考:

 

  这里整理了一些报考说明:

  报考条件:拥有大专以上学历;从事大数据工作半年以上。

  报考说明:1、电子照片申报要求

  背景颜色:白色

  照片尺寸:2寸近期正面免冠彩色半身证件照(358*441像素,350dpi分辨率,JPG格式)

  照片大小:14-20k之间

  照片命名:姓名+身份证.JPG

  2、学历证书扫描件1张;扫描件命名:学历证书(姓名).JPG

  报考等级:大数据工程师(初级)

  大数据工程师(中级)

  大数据工程师(高级)

  考试时间地点:

  2016年7月24日 上午10:00 地点:成都天府软件园

  证书查询:考试合格人员的相关资料将纳入《信息技术人才库》,证书发放一个星期后可以登录www.ceiaec.org(工信部教育与考试中心官网)查询。

  最后,其实关于是否考取证书每个人的认识都是不同的,对于没有从业经验的人群来说,证书是最直接的证明,特别是刚毕业的应届生,证书是公司选择你的重要依据, 面试时也多一个让面试官认识你的“渠道”。当然,企业最看重的还是个人的实践能力,证书只是辅助材料。

 

2019-10-30 21:59:34 xiaokaiabcde 阅读数 179
  • 2020软考数据库系统工程师-上午真题解析培训视频课程

    2020软考数据库系统工程师培训教程:掌握数据库系统工程师历年上午真题考查内容及考核方式,为考试和自身能力提高打下坚实基础。 适合对象: 希望将来从事数据库开发设计与数据库运行维护的IT从业者;希望通过软考-数据库系统工程师考试的学员 (一次付费学习课程,直到通过考试,并且每年真题解析免费更新 )

    123229 人正在学习 去看看 任铄

大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分析来影响企业的商业决策。

  这群人在国外被叫做数据科学家(Data Scientist),这个头衔最早由D.J.Pati和Jeff Hammerbacher于2008年提出,他们后来分别成为了领英(LinkedIn)和Facebook数据科学团队的负责人。而数据科学家这个职位目前也已经在美国传统的电信、零售、金融、制造、物流、医疗、教育等行业里开始创造价值。

  不过在国内,大数据的应用才刚刚萌芽,人才市场还不那么成熟,“你很难期望有一个全才来完成整个链条上的所有环节。更多公司会根据自己已有的资源和短板,招聘能和现有团队互补的人才。”领英(LinkedIn)中国商务分析及战略总监王昱尧对记者说。

  于是每家公司对大数据工作的要求不尽相同:有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是希望能找到懂得产品和市场的应用型人才。正因为如此,很多公司会针对自己的业务类型和团队分工,给这群与大数据打交道的人一些新的头衔和定义:数据挖掘工程师、大数据专家、数据研究员、用户分析专家等都是经常在国内公司里出现的Title,我们将其统称为“大数据工程师”。

  王尧认为,在一个成熟的数据驱动型公司,“大数据工程师”往往是一个团队,它意味着从数据的收集、整理展现、分析和商业洞察、以至于市场转化的全过程。这个团队中可能包括数据工程师、分析师、产品专员、市场专员和商业决策者等角色,共同完成从原始数据到商业价值的转换—概括来讲,这是一个支持企业做出商业决策、发掘商业模式的重要群体。

  由于国内的大数据工作还处在一个有待开发的阶段,因此能从其中挖掘出多少价值完全取决于工程师的个人能力。已经身处这个行业的专家给出了一些人才需求的大体框架,包括要有计算机编码能力、数学及统计学相关背景,当然如果能对一些特定领域或行业有比较深入的了解,对于其快速判断并抓准关键因素则更有帮助。

  虽然对于一些大公司来说,拥有硕博学历的公司人是比较好的选择,不过阿里巴巴集团研究员薛贵荣强调,学历并不是最主要的因素,能有大规模处理数据的经验并且有喜欢在数据海洋中寻宝的好奇心会更适合这个工作。

  除此之外,一个优秀的大数据工程师要具备一定的逻辑分析能力,并能迅速定位某个商业问题的关键属性和决定因素。“他得知道什么是相关的,哪个是重要的,使用什么样的数据是最有价值的,如何快速找到每个业务最核心的需求。”联合国百度大数据联合实验室数据科学家沈志勇说。学习能力能帮助大数据工程师快速适应不同的项目,并在短时间内成为这个领域的数据专家;沟通能力则能让他们的工作开展地更顺利,因为大数据工程师的工作主要分为两种方式:由市场部驱动和由数据分析部门驱动,前者需要常常向产品经理了解开发需求,后者则需要找运营部了解数据模型实际转化的情况。

  你可以将以上这些要求看做是成为大数据工程师的努力方向,因为根据万宝瑞华管理合伙人颜莉萍的观察,这是一个很大的人才缺口。目前国内的大数据应用多集中在互联网领域,有超过56%的企业在筹备发展大数据研究,“未来5年,94%的公司都会需要数据科学家。”颜莉萍说。因此她也建议一些原本从事与数据工作相关的公司人可以考虑转型。

  本文采访了BAT这3家国内互联网公司,以及相关领域的人力资源专家,他们从职场角度为我们解读如何成为大数据工程师以及这类岗位的职场现状。

A 大数据工程师做什么?

  用阿里巴巴集团研究员薛贵荣的话来说,大数据工程师就是一群“玩数据”的人,玩出数据的商业价值,让数据变成生产力。大数据和传统数据的最大区别在于,它是在线的、实时的,规模海量且形式不规整,无章法可循,因此“会玩”这些数据的人就很重要。

  沈志勇认为如果把大数据想象成一座不停累积的矿山,那么大数据工程师的工作就是,“第一步,定位并抽取信息所在的数据集,相当于探矿和采矿。第二步,把它变成直接可以做判断的信息,相当于冶炼。最后是应用,把数据可视化等。”

  因此分析历史、预测未来、优化选择,这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向,他们帮助企业做出更好的商业决策。

找出过去事件的特征

  大数据工程师一个很重要的工作,就是通过分析数据来找出过去事件的特征。比如,腾讯的数据团队正在搭建一个数据仓库,把公司所有网络平台上数量庞大、不规整的数据信息进行梳理,总结出可供查询的特征,来支持公司各类业务对数据的需求,包括广告投放、游戏开发、社交网络等。

  找出过去事件的特征,最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹,就能够了解这个人,并预测他的行为。“你可以知道他是什么样的人、他的年纪、兴趣爱好,是不是互联网付费用户、喜欢玩什么类型的游戏,平常喜欢在网上做什么事情。”腾讯云计算有限公司北京研发中心总经理郑立峰对《第一财经周刊》说。下一步到了业务层面,就可以针对各类人群推荐相关服务,比如手游,或是基于不同特征和需求衍生出新的业务模式,比如微信的电影票业务。

 

预测未来可能发生的事情

  通过引入关键因素,大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上,工程师正试图通过引入气象数据来帮助淘宝卖家做生意。“比如今年夏天不热,很可能某些产品就没有去年畅销,除了空调、电扇,背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系,找到与之相关的品类,提前警示卖家周转库存。”薛贵荣说。

  在百度,沈志勇支持“百度预测”部分产品的模型研发,试图用大数据为更广泛的人群服务。已经上线的包括世界杯预测、高考预测、景点预测等。以百度景点预测为例,大数据工程师需要收集所有可能影响一段时间内景点人流量的关键因素进行预测,并为全国各个景点未来的拥挤度分级—在接下来的若干天时间里,它究竟是畅通、拥挤,还是一般拥挤?

找出最优化的结果

  根据不同企业的业务性质,大数据工程师可以通过数据分析来达到不同的目的。

  以腾讯来说,郑立峰认为能反映大数据工程师工作的最简单直接的例子就是选项测试(AB Test),即帮助产品经理在A、B两个备选方案中做出选择。在过去,决策者只能依据经验进行判断,但如今大数据工程师可以通过大范围地实时测试—比如,在社交网络产品的例子中,让一半用户看到A界面,另一半使用B界面,观察统计一段时间内的点击率和转化率,以此帮助市场部做出最终选择。

  作为电商的阿里巴巴,则希望通过大数据锁定精准的人群,帮助卖家做更好的营销。“我们更期待的是你能找到这样一批人,比起现有的用户,这些人对产品更感兴趣。”薛贵荣说。一个淘宝的实例是,某人参卖家原来推广的目标人群是产妇,但工程师通过挖掘数据之间的关联性后发现,针对孕妇群体投放的营销转化率更高。

  B 需要具备的能力

数学及统计学相关的背景

  就我们采访过的BAT三家互联网大公司来说,对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。沈志勇认为,缺乏理论背景的数据工作者,更容易进入一个技能上的危险区域(Danger Zone)—一堆数字,按照不同的数据模型和算法总能捯饬出一些结果来,但如果你不知道那代表什么,就并不是真正有意义的结果,并且那样的结果还容易误导你。“只有具备一定的理论知识,才能理解模型、复用模型甚至创新模型,来解决实际问题。”沈志勇说。

如果你对大数据开发感兴趣,想系统学习大数据的话,可以加入大数据技术学习交流扣扣群:4583+数字45782,欢迎添加,私信管理员,了解课程介绍,获取学习资源

计算机编码能力

  实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。“因为许多数据的价值来自于挖掘的过程,你必须亲自动手才能发现金子的价值。”郑立峰说。

  举例来说,现在人们在社交网络上所产生的许多记录都是非结构化的数据,如何从这些毫无头绪的文字、语音、图像甚至视频中攫取有意义的信息就需要大数据工程师亲自挖掘。即使在某些团队中,大数据工程师的职责以商业分析为主,但也要熟悉计算机处理大数据的方式。

对特定应用领域或行业的知识

  在颜莉萍看来,大数据工程师这个角色很重要的一点是,不能脱离市场,因为大数据只有和特定领域的应用结合起来才能产生价值。所以,在某个或多个垂直行业的经历能为应聘者积累对行业的认知,对于之后成为大数据工程师有很大帮助,因此这也是应聘这个岗位时较有说服力的加分项。

  “他不能只是懂得数据,还要有商业头脑,不论对零售、医药、游戏还是旅游等行业,能就其中某些领域有一定的理解,最好还是与公司的业务方向一致的,”就此薛贵荣还打了个比方,“过去我们说一些奢侈品店员势利,看人一眼就知道买得起买不起,但这群人恰恰是有敏锐度的,我们认为他们是这个行业的专家。又比如对医疗行业了解的人,他在考虑医疗保险业务时,不仅会和人们医院看病的记录相关,也会考虑饮食数据,这些都是基于对该领域的了解。”

C 大数据工程师的职业发展

如何成为大数据工程师

  由于目前大数据人才匮乏,对于公司来说,很难招聘到合适的人才—既要有高学历,同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。

  2014年8月,阿里巴巴举办了一个大数据竞赛,把天猫平台上的数据拿出来,去除敏感问题后,放到云计算平台上交予7000多支队伍进行比赛,比赛分为内部赛和外部赛。“通过这个方式来激励内部员工,同时也发现外部人才,让各行业的大数据工程师涌现出来。”

  颜莉萍建议,目前长期从事数据库管理、挖掘、编程工作的人,包括传统的量化分析师、Hadoop方面的工程师,以及任何在工作中需要通过数据来进行判断决策的管理者,比如某些领域的运营经理等,都可以尝试该职位,而各个领域的达人只要学会运用数据,也可以成为大数据工程师。

薪酬待遇

  作为IT类职业中的“大熊猫”,大数据工程师的收入待遇可以说达到了同类的顶级。根据颜莉萍的观察,国内IT、通讯、行业招聘中,有10%都是和大数据相关的,且比例还在上升。颜莉萍表示,“大数据时代的到来很突然,在国内发展势头激进,而人才却非常有限,现在完全是供不应求的状况。”在美国,大数据工程师平均每年薪酬高达17.5万美元,而据了解,在国内顶尖互联网类公司,同一个级别大数据工程师的薪酬可能要比其他职位高20%至30%,且颇受企业重视。

职业发展路径

  由于大数据人才数量较少,因此大多数公司的数据部门一般都是扁平化的层级模式,大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不同团队,而在小公司则需要身兼数职。有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。“这个职位的大部分人会往研究方向发展,成为重要数据战略人才。”颜莉萍说。另一方面,大数据工程师对商业和产品的理解,并不亚于业务部门员工,因此也可转向产品部或市场部,乃至上升为公司的高级管理层。

  在了解以上信息之后,你应该对大数据工程师工作内容和职业规划有一定的了解,那么小编为你推荐大数据相关职业的薪酬具体是多少?

大数据人才市场薪酬报告(2015一季度)

  2015年3月,白宫经任命DJ Patil作为全国第一个首席数据科学家。这位前PayPal和eBay的执行官,来到白宫之后有了新的任务:帮助美国政府最大限度的进行他们对大数据的投资,并围绕政府机构如何更好使用大数据给出建议。

  美国政府正在用实际行动告诉大家,政府的工作已经不再是你印象中的那样了。过去的政府里,计算机还只是一个简单的办公工具,甚至被简单的当成笔和纸的替代品。但是今天,政府们却已经能迅速意识到他们需要新的领导,带领大家充分利用起他们的数据。

  还有很多你没有注意到的细节来验证这一趋势:在LinkedIn上快速搜索发现,“数据科学家”这一职位的需求大约36000个。这反应出整个美国都在推动数据科学的进展。

  据IDC统计,全球数据总量以每两年翻一番的速度爆发式增长,与此同时自然也催生出了大量与大数据处理相关的职,这群人在国外被叫做数据科学家(Data Scientist),通过对数据的挖掘分析来影响企业的商业决策。

  不过在国内,大数据的应用才刚刚萌芽,人才市场还不那么成熟。很多公司会根据已有的资源和短板,招聘能和现有团队互补的人才。有的强调数据库编程、有的突出统计学知识、有的则要求有咨询公司或投行相关的经验,所以title众多,诸如数据挖掘工程师、数据研究员、用户分析专家……不胜其数。

归根结底,我们要了解,企业对数据人才的需求源自企业的定位。专门的数据公司以及大公司的数据部门有完整的数据采集、数据挖掘、数据分析、数据结构的整套体系。而一般的企业多数只需要数据分析师,提供决策辅助和咨询。

  所以,繁多的title背后,万变不离其宗的,是数据相关职位的职能,按照职能我们可以分为四类,对应的专业和职责分别是:

  1、数据分析——专业:统计学,数学,计算机,信息管理,金融——主要职责:运用工具,提取、分析、呈现数据,实现数据的商业意义

  2、 数据挖掘——专业:计算机、统计学、数学——主要职责:机器学习,算法实现

  3、 数据工程师——专业:计算机、数学,统计学——主要职责:开发运用简单数据工具,实现数据建模等功能,需要业务理解

  4、 数据架构师——专业:计算机、数学、——主要职责;高级算法设计与优化;数据相关系统设计与优化;需要有垂直行业经验

  一、 数据分析相关职位

  首先,来看下数据分析师的情况。这个职位的主要技能是1(数据分析),附带2(数据挖掘),有少量的3(运用已有工具建模)的需求。因为企业对这个职位的要求是作为业务部门的参考与辅助,因此希望是多面手。Title包括数据分析师(员/专员),数据运营主管等。以深圳为例:

  如上,深圳数据分析师(员/专员)的月薪中位数为:¥10375元/月,以上图表显示:最低工资3K-4.5K,最高工资20K-30K。

  工资与年资的关系大致如下:

  最急需人才的行业如下(工资中位数):

  数据显示,深圳数据分析在“互联网/电子商务”行业工资最高,为¥8431 。

  地区竞争力排名如下:

  分析显示,北上深是最急缺数据人才的城市,平均待遇也最佳。

  职位(title)与薪水的对应关系如下:

  其中,分析员与分析专员要求0-2年工作经验,数据分析师通常要求3年以上工作经验。

  数据分析师招聘要求的表述范本如下:

  任职要求:

  1、统计学、计量经济学、数据挖掘等数据分析相关的专业本科以上学历。

  2、3年以上互联网行业数据分析或数据挖掘经验,有IT大数据分析经验,咨询公司数据分析经验、互联网数据建模分析经验者优先。

  3、熟悉MS Office、数据库、统计、数据分析、数据挖掘等相关领域知识、算法或工具

  4、具备良好的数据敏感度,能从海量数据提炼核心结果。

  可以看到,除非有专门商业数据部门的企业,其他企业一般需要的是个多面手,提供业务参考和咨询。

  二、 数据挖掘相关职位

  接下来我们来看下数据挖掘工程师的情况。合格的数据挖掘工程师通常需要有3年以上工作经验。一二线城市的大中型企业和数据咨询公司有此类独立职位。主要技能为2和3(数据挖掘和平台应用)。

  所谓的一二线城市的大中型企业是指:

  所以这是真正的金领。

  深圳数据挖掘工程师工资中位数为:¥15166元/月,最低工资8K-10K,最高工资工资30-50K。当然,刚入职的0起点新人起薪是3500-5000。新人需要1年左右的培养期。

  按照年资划分,由于此职位在中国出现时间比较短,所以只有一个大致的数据。

  行业与地区与数据分析师的情况是一致的。所不同的是,因为此职位更加高端,所以一二线城市需求比较多。

  Title和薪水的对应关系如下:

  其中,5年以上经验者可以晋升为高级数据挖掘工程师,薪水约为30K-50K。

  为了便于理解,我们来发个招聘样本,以下是腾讯的招聘需求:

  工作经验:3-5年

  薪资范围:¥ 18000-30000

  学历要求:硕士以上

  职位职责:负责用户产生的大数据在垃圾广告、违法信息等识别过滤领域的应用。负责分析、挖掘、对抗各种产品安全层面的恶意行为;

  职位要求:计算机或相关专业本科以上学历,2年以上相关工作经验;

  丰富的数据分析经验以及恶意对抗实战经验;

  熟悉C/C 开发,有一定的架构能力和良好代码规范;

  熟悉linux/unix系统与开发环境;熟悉mysql以及SQL语言

  三、 数据工程师相关职位

  接下来,我们来看下数据工程师的情况。这是比较复杂的情况,产生的title不计其数。但是归根结底,都是在已有平台和工具的基础上实现开发和运用。大部分我们见到的“数据**工程师”其实都归属此类。技能要求为3(数据结构和算法,分布式计算以及数据库知识等),其次是1和2。就以最常见的title——数据工程师为例,仍然在深圳:

  数据工程师这个title由于工作年限、技能水平、负责内容的不同,在深圳的薪酬跨度比较大:

  如图,深圳数据工程师工资中位数:¥13156元/月,以上图表显示:最低工资2K-3K,最高工资20K-30K。

  该职位是需求最为强劲的,title也很多。

  我们可以看到,从2010年至今,需求是越来越大。薪酬也根据相应工作年限而增加。

  行业竞争力和地区竞争力与之前的数据分析师、数据挖掘工程师是一致的。北上深需求最为强劲,互联网、地产、金融位列需求最大的前三名。

  我们也可以关注下职位数,有兴趣入行的可以看看自己的城市是否上榜:

  事实上,不止现在数据工程师需求缺口严重,根据国外的情况,未来这块仍然是大有可为的。美国人才招聘市场的数据分析领先者WANTED Analytics 最近给出报告,增长最快的大数据职位的技能要求如下:

  这些岗位上需求增长最快的三项技能分别是:Python编程(96.90%),Linux(76.60%)和SQL结构化查询语言(76%)

  与之对应的是中国市场的雇主的招聘范本:

  职位职能:大数据工程师

  岗位职责:

  负责数据采集产品设计和开发;

  负责数据仓库建模、数据预处理子系统的设计和开发;

  负责数据挖掘功能设计和开发。

  任职资格:

  有扎实的计算机理论基础, 对数据结构及算法有较强的功底;

  熟练java、C 、Python中的任何一种语言,兼有者更佳;

  对分布式系统原理有较深的理解,理解数据库和nosql相关理论;

  有在网站公司或海量数据处理工作经验,数据分析和挖掘经验者优先;

  有使用Go语言开发高性能后台系统经验者优先;

  熟悉Sphinx全文检索引擎经验者优先。

四、数据架构师职位情况

  最后我们来看看数据架构师,这是整个数据产业上的顶端职位,最终指向也是——首席数据官/架构专家。这个职位一般是猎头职位,要求是4(“软件工程技能牛过多数人的统计学家”;高级算法设计与优化;数据相关系统设计与优化;需要有垂直行业经验)。既要懂行业,又要技术资历(最少3年,一般5年),所以空缺巨大。笔者朋友公司的该职位就动用猎头招了快半年。薪资是30K-50K。当然更多一线公司开出来的是“薪资面议”,你懂的。接下来仍然以深圳为例:

  这个职位的统计因为人才缺口巨大,样本过少。所以我们只能大致来看看薪酬待遇,统计结果是偏低的,仅能作为参考。

  深圳数据架构师工资中位数:¥23700元/月,以上图表显示:最低工资10K-15K,最高工资无法确定。唯一肯定的是一定超过百万。

  企业的招聘要求如下(百度为例):

  岗位职责:

  负责数据中心空调/配电系统/智能监控等新技术工程研发、验证及落地

  负责数据中心基础设施智能监控平台需求梳理、功能分析、运行数据分析与挖掘

  参与数据中心运维调优,制定优化控制策略

  负责智能数据中心架构设计,推动基础设施监控平台与IT系统信息融合及联动

  任职资格:

  本科及以上学历

  5年或以上数据中心行业设计、咨询、建设工作经验,熟悉空调/电气/监控系统架构

  熟悉基础设施系统各组件、系统参数计算、设备选型

  有开阔的技术视野,较强的流程分析和优化能力

  较强的项目协调及管理能力,良好团队协作能力

  五、 总结

  综上所述,数据相关的职位,指向的是数据采集、数据挖掘、数据分析、数据结构四大技能,即使初级职位,要求也是一专多能。高级职位则要求每个模块都有理解,对统计、编程、行业理解都要求很高。

  未来是一个数据的时代,也是数据科学家的时代!

根据以上内容,小编为大家推荐一些相关内容

2019-05-19 12:57:48 qq_38459998 阅读数 836
  • 2020软考数据库系统工程师-上午真题解析培训视频课程

    2020软考数据库系统工程师培训教程:掌握数据库系统工程师历年上午真题考查内容及考核方式,为考试和自身能力提高打下坚实基础。 适合对象: 希望将来从事数据库开发设计与数据库运行维护的IT从业者;希望通过软考-数据库系统工程师考试的学员 (一次付费学习课程,直到通过考试,并且每年真题解析免费更新 )

    123229 人正在学习 去看看 任铄

由于大数据的兴起与应用,数据科学家和数据分析师,以及具大数据技术工作能力的工程师和开发人员得到了青睐,并获得良好的回报。那么,行业人士如何获得这样的一份工作?那就是获取大数据认证。

数据和大数据分析正在成为企业生命的血液。具有分析大数据所需技术的数据科学家和分析师,以及了解hadoop集群和其他技术的开发人员供不应求。如果有人正在寻找一个方法来获得一个优势,无论你是工作,狩猎,钓鱼或只是想要有形的技能,都需要第三方证明,而获得大数据认证则是一个明智的选择。这个认证可以衡量申请人的知识和技能,并针对行业和供应商的具体基准,向雇主证明,申请人有着可以胜任的技能。大数据证书的数量正在迅速扩大。

在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取
 

以下是16个应该考虑通过的大数据认证。

(1)专业人员分析认证-INFORMS

 

大数据

 

CAP认证是一个严格的通用分析认证。它证明了对分析过程的端到端理解,从构建业务和分析问题到获取数据,方法,模型构建,部署和模型生命周期管理。它需要完成CAP考试(这个考试可以在100多个国家的700多个计算机的测试中心进行)和遵守CAP的道德规范。

如何准备:INFORMS提供预览材料和完整的CAP学习指南作为辅助。它还为拥有10名或更多候选人的组织提供免费半天CAP回顾会议。

(2)数据科学专业成就认证-Columbia University

 

大数据

 

这个数据科学认证是由TheFU基金会工程与应用科学学院和哥伦比亚大学艺术与科学研究生院联合提供的。该计划包括四个课程:数据科学算法(CS/IEOR),概率与统计(STATS),机器学习数据科学(CS)和探索性数据分析和可视化(STATS)。

(3)工程方面分析和优化(CPEE)证书–INSOFE

 

大数据

 

这个密集的18周课程,其中包括10个课程(讲座和实验室)为学习者分析的各个方面,包括大数据使用Hadoop。它专注于R和Hadoop技能,以及统计建模,数据分析,机器学习,文本挖掘和优化技能。学习者将在一个真实世界的顶点项目中实施一系列的测试评估。

(4)挖掘大规模数据集研究生证书-Stanford University

 

大数据

 

为软件工程师,统计学家,预测建模师,市场研究人员,分析专业人员,以及数据挖掘者设计,此认证需要四个课程,并演示掌握高效和强大的技术和算法,从大型数据集,如Web,社交,网络图和大型文档存储库等。这个证书通常需要一到两年的时间才能获得。

(5)分析证书:优化大数据-University of Delaware

 

大数据

 

主要面向商业,营销和运营经理,数据分析师和专业人士,金融业专业人士和小企业主本科课程。该计划汇集了统计,分析,书面和口头沟通技巧。它向学习者介绍了分析大数据集所需的工具,涵盖了将数据导入分析软件包,探索性图形和数据分析,构建分析模型,找到最佳模型以解释变量之间的相关性等主题。

(6)EMC数据科学家助理(EMCDSA)-EMC

 

大数据

 

EMCDSA认证表明个人作为数据科学团队成员参与和贡献大数据项目的能力。它的内容:部署数据分析生命周期,将业务挑战重构为分析挑战,应用分析技术和工具来分析大数据并创建统计模型,选择适当的数据可视化等。

如何准备:EMC提供培训课程,作为视频或教师主导的课程。

(7)Cloudera认证专家:数据科学家(CCP:DS)-Cloudera

 

大数据

 

CCP:DS证书展示了精英层面使用大数据的技能。它需要通过一个评估基础数据科学主题知识的书面考试。他们还必须在数据科学挑战中,通过设计和开发同行评估的生产就绪的数据科学解决方案,并在真实条件下证明他们的能力。这个挑战必须在完成笔试后24个月内通过,并且每年中的每隔一个季度提供两次机会。

如何准备:Cloudera提供课堂培训与技术指导,实践测试和数据科学挑战解决方案套件,包括实时数据集,教程和过程说明。

(8)Cloudera Apache Hadoop认证开发人员(CCDH)-Cloudera

CCDH认证演示了开发人员写入,维护和优化Apache Hadoop开发项目的技术知识,技能和能力。获得这个认证需要通过90分钟时限的50到55个活动问题的笔试。每个测试包括至少五个未评分的实验问题。

如何准备:Cloudera提供实践测试(180天订阅)和学习指南。

(9)Cloudera Apache Hadoop认证管理员(CCAH)-Cloudera

CCAH认证演示管理员的技术知识,技能和能力配置,部署,维护和保护Apache Hadoop集群和构成Cloudera企业数据中心的生态系统项目。获得认证需要通过90分钟时限的60个问题的书面考试。

如何准备:Cloudera提供实践测试(180天订阅)和学习指南。

(10)Cloudera Apache HBase(CCSHB)认证专家-Cloudera

 

大数据

 

CCSHB认证演示了使用Apache HBase的技术知识,技能和能力,包括核心HBase概念,数据模型,架构,模式设计,API和管理。获得认证需要通过90分钟时间限制的45个问题的书面考试。

如何准备:Cloudera提供实践测试(180天订阅)和学习指南。

(11)Revolution REnterprise Professional–Revolution Analytics

 

大数据

 

主要内容:此认证证明了对高级分析项目使用R统计语言的能力,包括分析大数据,数据分析生命周期,高级分析的理论和方法以及统计建模的战略和实践方面。该认证要求通过包含60个选择题和90分钟时间限制的tt笔考试。

如何准备:Revolution Analytics建议从其Academy R培训课程入手,并提供学习指南和示例问题。

(12)Vertica大数据解决方案V1-HP

 

大数据

 

此认证验证可以让学习者部署和管理Vertica Analytics Platform,帮助组织优化和利用大数据分析获利。其验证学习者可以:识别和描述Vertica架构的关键功能,安装平台,识别字符和确定Vertica中使用的投影的特征,描述如何将数据加载到Vertica,阐述Vertica集群管理概念,描述备份/恢复和资源管理,并确定如何监视和故障排除。此认证需要在90分钟内通过包含50个选择题的考试。

如何准备:HP建议学习者将具体的产品知识和三到六个月的实践经验结合在一起,充分了解RDBMS。这个认证不需要培训,但HP公司建议学习者参加为期三天的Vertica简介课程。

(13)Vertica大数据解决方案管理员V1-HP

此认证证实学习者可以管理Vertica Analytics Platform,并验证其是否可以执行高级管理任务,包括:手动投影设计,诊断,高级故障排除和数据库调优。该认证要求在100分钟内通过包含60个选择题的考试。

如何准备:HP建议候选人在申请此认证之前至少六个月内管理,管理和操作Vertica Analytics平台。这个认证不需要培训,但HP公司建议学习者参加为期两天的HPVertica高级性能调优课程。

(14)IBM认证的数据架构师-大数据

 

大数据

 

IBM认证数据架构师-大数据IBM专业认证计划

(15)IBM认证的数据工程师-大数据

IBM认证的数据工程师-大数据IBM专业认证计划

(16)大数据专业人员的SAS认证

 

大数据

在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。上述资料加群可以领取
 

 

没有更多推荐了,返回首页