-
大数据开发
2020-05-19 21:35:56大数据开发知识体系结构
职业要求:
- 能进行大数据Hadoop、Yarn、Spark、Hive、HBase、Kafka、Zookeeper、Flume、AI平台等组件的研发、交付及解决方案支撑
- 能探索云服务化实现的前沿技术,并负责云大数据服务的架构设计、开发、测试及运维
- 精通JAVA软件开发,有软件开发项目经验,并至少熟练掌握以下语言中的一种:C/C++/GO/Python/PHP/Python/Shell等编程语言及脚本语言;
- 熟悉大数据相关开源软件,有应用大数据组件的解决问题的实战经验,有开源社区代码贡献
- 可以对单点算法性能做出极致优化,或具备全局视野,能从E2E考虑算法应用竞争力体现;
- 能解决移动终端设备人工智能、大数据挖掘算法和解决方案的研究、设计、验证和交付
- 能对传感器在专业运动健康、生物识别、情景感知等技术做出优秀的用户体验
- 具备人工智能AI算法、大数据算法、数据结构算法设计和开发能力
- 具备前沿人工智能技术跟踪和业界趋势的跟踪和算法应用能力
- 至少掌握一种数据挖掘工具和深度模型训练工具,如Tensorflow,caffe,matlab
- 创新、攻坚、合作、沟通
一 大数据技术原理与应用
- 大数据概述
- 大数据处理架构Hadoop
- 分布式文件系统HDFS
- 分布式数据库HBase
- NoSQL数据库
- 云数据库
- MapReduce
- 基于Hadoop的数据仓库Hive
- Hadoop架构再探讨
- Spark
- 流计算
- 图计算
- 大数据在不同领域的应用
- 666
- 666
二 Spark编程基础(Python版)
- 大数据技术概述
- Spark的设计与运行原理
- Spark环境搭建和使用方法
- RDD编程基础
- Spark SQL
- Spark Streaming
- Structured Streaming
- Spark MLlib
-
《大数据开发工程师系列:Hadoop & Spark大数据开发实战》
2019-06-20 15:30:53《大数据开发工程师系列:Hadoop & Spark大数据开发实战》 -
大数据开发就业:大数据开发有哪些岗位
2020-09-23 10:38:41在大数据的发展当中,对相关专业人才的需求是在持续增长的,包括大数据开发、数据分析挖掘等不同的数据处理环节,都形成了相应的岗位体系,大家各自负责不同的环节,共同完成大数据处理任务。今天我们主要来讲讲...在大数据的发展当中,对相关专业人才的需求是在持续增长的,包括大数据开发、数据分析挖掘等不同的数据处理环节,都形成了相应的岗位体系,大家各自负责不同的环节,共同完成大数据处理任务。今天我们主要来讲讲大数据开发就业,了解大数据开发有哪些岗位?
首先,大数据开发通常指的是基于大数据产业链的一系列开发任务,涉及到大数据平台开发、大数据应用开发等,另外还包括数据采集产品的开发、数据整理产品的开发等等,如果向上延伸的话,部分大数据开发任务与人工智能开发任务也具有密切的联系。
大数据开发分两个层次:
大数据开发通常有两层含义,一层是进行大数据平台自身的开发,这属于研发级开发任务,通常称作大数据平台开发。
比如说大数据平台Hadoop就是采用Java语言开发的。整个大数据平台还涉及到一系列产品,包括HBase、Hive、Avro、Zookeeper、Pig、Mahout、Cassandra等,开发和维护这些产品往往需要一个庞大的技术团队。
所以平台开发,通常是要行业当中颇具实力的头部企业去做。像Hadoop生态下的各种技术框架组件,托管在Apache旗下开源,除了最初的研发团队,也会有很多的Contributor在出力维护。
通常来说,从事大数据平台开发的程序员往往需要具备丰富的开发经验,同时具备较强的研发能力,能够搭建出一个稳定的分布式计算体系。
大数据开发的另一层含义是在大数据平台下进行大数据应用开发,比如在Hadoop、Spark平台下进行具体的大数据应用开发,应用级开发难度要相对小一些,但是往往需要与具体的场景进行紧密的联系,需要开发者具备一定的行业背景知识。
具体来说,大数据应用开发主要的任务有两个,其一是进行已有软件产品的大数据改造;其二是针对于具体的大数据需求进行全新的大数据应用开发。在企业当中,大数据落地应用的初期,大数据改造的开发任务会相对多一些,而随着需求的不断变化,新的大数据开发任务会逐渐增加。
目前行业当中常说的大数据开发,其实更多是指数据研发偏ETL方向;大数据平台开发,则是指开发各种简化数据任务编程的平台,国内常见的有阿里的Dataworks、网易的猛犸等。
事实上,在企业招聘当中,大数据开发的岗位Title还有更多,具体命名不同,在企业当中所规划出来的岗位职责也不同,作为技术开发者,需要结合岗位技能需求来不断提升自己的技术水平实力。
-
《大数据开发工程师系列:Hadoop & Spark大数据开发实战》.pdf
2019-05-23 17:57:05《大数据开发工程师系列:Hadoop & Spark大数据开发实战》 -
大数据开发分享
2017-02-04 16:23:02大数据开发 -
python 大数据开发工程师_大数据系列之大数据开发工程师
2020-12-22 05:46:36继续介绍大数据系列岗位的要求,今天是“最热门”的岗位大数据开发工程师,之所以说热门主要是基于2个原因,一是因为很多应届生或者想转入大数据行业的同学,都是期望从事“大数据开发”这一定位不是很清晰的岗位;...继续介绍大数据系列岗位的要求,今天是“最热门”的岗位大数据开发工程师,之所以说热门主要是基于2个原因,一是因为很多应届生或者想转入大数据行业的同学,都是期望从事“大数据开发”这一定位不是很清晰的岗位;二是因为至少有3个岗位可以称为“大数据开发”,所以这里的“最热门”需要详细分析。老套路先从几个大厂的岗位要求说起。
今日头条
1、本科以上学历,软件工程/计算机/通信/数学等相关专业;
2、熟悉Hive SQL语言,熟悉shell, python等至少一种脚本语言;
3、有hadoop、spark、flink等至少一种大数据平台的使用经验;
4、理解能力强,善于沟通,有责任心和团队精神;
5、有数据仓库建设、商业数据分析、增长项目经验者优先。
有赞
1、java/scala至少熟练使用一种
2、具备扎实的计算机理论基础, 对数据结构及算法有较强的功底
3、熟悉至少一种实时计算引擎 Storm, Spark Streaming, Flink, 对hadoop生态其他组件有一定了解,比如 HBase, hadoop, Hive, Druid等
4、有大规模集群应用开发经验优先
5、有BAT工作经验优先
6、具备良好工作习惯和团队协作精神
华为
1、计算机或相关专业本科及以上学历,对数据处理、数据建模、数据分析等有深刻认识和实战经验;
2、熟悉Hadoop/Spark/Hive/HBase等大数据工具,主导过大型数据平台建设者优先;
3、精通SQL,熟悉常用的关系型数据库、非关系性数据库和数据仓库,具有SQL性能优化经验;
4、了解微服务开发理念、实现技术,熟悉常见设计模式,熟练掌握SSH开发框架,熟练进行Java、Python代码编写,熟悉多线程编程;
5、思维敏捷,对新技术敏感,有较强的钻研学习能力;
蚂蚁金服
1、三年以上工作经验,有大型互联网行业从业经验
2、有Hadoop/Hive/Spark/Storm/Zookeeper 等相关开发经验或从事分布式相关系统的开发工作
3、熟悉Linux/Unix系统和丰富的Java开发经验
4、具有强烈的责任心,求知欲望强
小影
1、本科及以上学历,计算机相关专业
2、3年以上企业级数据仓库开发经验
3、熟悉数据仓库理论,具备复杂业务需求梳理能力
4、熟练SQL开发,精通Mysql等关系型数据库中的一种或几种
5、熟练掌握Hadoop及Map-Reduce应用开发,熟练掌握HBase、Hive、Storm、spark等大数据开发工具中一种或几种
6、熟悉Linux系统,具备shell、python等脚本开发能力者优先
7、学习能力强,喜欢研究开源新技术,有团队观念,具备独立解决问题的能力
能力三核模型分析
大数据开发工程师.png
综合结果如下
知识
1、本科及以上学历(3)
2、计算机相关专业(4)
硬技能
1、熟练掌握hadoop、Hbase、Hive、Storm、Spark Streaming、flink等大数据开发工具中一种或几种(5)
2、熟悉shell、python、scala、java等至少一种开发语言(5)
3、熟悉linux/unix系统(2)
4、有数据仓库建设、数据处理、数据建模、数据分析相关经验(2)
5、精通sql,熟悉常用的关系型数据库和非关系型数据库(1)
才干or 软技能
1、良好的团队精神(3)
2、较强的学习能力和欲望(3)
3、强烈的责任心(2)
4、独立解决问题能力(1)
分析
从上面硬技能来看,同时具备1,2,3项不是很难,这个都是程序开发的范畴,但是要和4,5两个条件同时具备这个就非常难了,这是明显的两个职位。所以需要先看一下工作职责和内容
岗位职责
1、负责数据仓库建设、ETL开发、数据分析(3)
2、负责数据指标统计(2)
3、负责大数据实时计算平台及业务开发(1)
4、负责大数据平台建设及维护(2)
通过上面4项总结后的岗位职责可以看出,1、2两项职责是针对数据仓库岗位要求,也就是前面系列文章大数据岗位要求之数据仓库所介绍内容;第3项岗位职责主要是对应第一项hadoop生态体系硬技能要求的,主要是在实时计算及二次开发方面;第4项岗位要求是大数据平台工具的开发,一般包括开发平台、调度系统、元数据平台等工具,主要对应java等语言开发能力要求。
个人经验
通过上述分析可以知道数据仓库开发、实时计算开发、大数据平台开发一般都会被称作大数据开发,其实这是3个岗位,各自要求也不尽相同。希望对应届生同学或者想转入大数据行业的同学有所帮助。
延伸一下hadoop生态体系太庞大了,包括但不限于hdfs、hive、hbase、storm、spark、flink、kafka、flume等,所以作为一个优秀的大数据开发,尤其是大数据运维同学的学习能力的要求是非常高的。在非大数据同学看来这些都是大数据同学应该掌握的,并且在一般公司招聘时也不会每个系统招一个人,也都是综合要求,这样大神或者架构师市面上还是有的,只是太少了,所以大数据开发的薪酬待遇高也是有道理的。
-
大数据开发学习:零基础学习大数据开发
2019-05-10 14:26:42大数据开发近几年越来越火,很多小伙伴都想要从事大数据开发行业。但是零基础怎么学习大数据开发,零基础学习大数据能学会吗?这是很多想要零基础学习大数据开发都想要知道的问题。 零基础怎样学习大数据开发: 1、...大数据开发近几年越来越火,很多小伙伴都想要从事大数据开发行业。但是零基础怎么学习大数据开发,零基础学习大数据能学会吗?这是很多想要零基础学习大数据开发都想要知道的问题。
零基础怎样学习大数据开发:
1、了解大数据理论:
在学习大数据钱首先要了解什么是大数据,大数据应用于什么领域,大数据以后可以从事的岗位,对大数据有个大概的了解,才能清楚的认识到自己是否对大数据感兴趣,尤其是是零基础学习大数据,兴趣至关重要,如果对于大数据一无所知就开始学习,有可能发现自己其实并不喜欢,没有缜密的学习计划,很可能浪费很多的时间和精力,甚至还可能造成金钱的浪费,所以零基础学习大数据需要提前对大数据有一定的了解和认识。
2、计算机编程语言的学习:
对于零基础学习大数据并不简单,因为大数据的学习需要一定的编程语言基础,对于编程语言大家应该比较清晰和了解,比如:Java、C++、R、net等等。目前大数据培训机构都会教Java编程语言,Java编程语言也是学习大数据的基础。Java基础相对来比较简单,如果你学过C语言你会发现C语言和Java很像,因为Java中很多基本语法和C++一样,比如:常用的循环语句、控制语句等课C++几乎一样,其中Java和C++是两种完全不同的语言,Java只需理解一些基本的概念,就可以用他编写出适合于各种情况的应用程序。Java略去了运算符重载、多重继承等模糊的概念,C++中许多容易混淆的概念,有的被Java弃之不用了,或者以一种更清楚更容易理解的方式实现,因此Java 语言相对是简单的。
在学习Java的时候,我们一般需要学习这些课程: HTML&CSS&JS,java 的基础,JDBC与数据库,JSP java web技术,jQuery 与AJAX技术,SpringMVC、 Mybatis、 Hibernate等等。这些课程都能帮助我们更好了解Java,学会运用Java。
3.大数据相关课程的学习:
学完了编程语言之后,一般就可以进行大数据部分的课程学习了。大数据课程,包括大数据技术入门,海量数据高级分析语言,海量数据存储分布式存储,以及海量数据分析分布式计算等部分,Linux、Hadoop、Scala、HBase、Hive、 Spar等等专业课程。如果要完整的学习大数据的话,这些课程都是必不可少的。
学习大数据开发,最重要的一点就是坚持!坚持做笔记,坚持认真听讲,坚持不断地反复练习等等,只有不断地坚持你才能够早日学成大数据开发。学习大数据开发,可以参考下加米谷。加米谷大数据开发开课了,感兴趣的同学赶紧来预约试听吧!
-
大数据开发课程:大数据开发培训课程
2019-05-23 15:18:48大数据开发有些什么课程呢?大数据开发培训课程有哪些呢? 阶段一、大数据基础–java语言基础方面 (1)Java语言基础 Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和... -
大数据开发学习路线:大数据开发需要掌握哪些技术
2019-08-16 12:03:57大数据开发学习路线:大数据开发需要掌握哪些技术 当前大数据技术目前正处在落地应用的初期,未来大数据的发展空间还是比较大的,所以学习大数据相关技术是个不错的选择。大数据开发学习路线是怎样的?学习大数据... -
大数据开发和java的前景_大数据开发和软件开发哪个前景好?
2020-12-24 14:54:52大数据开发和软件开发哪个前景好?大数据开发学习有难度,零基础入门要先学习Java语言打基础,然后进入大数据技术体系的学习,学习Hadoop、Spark、Storm等知识。软件开发工程师根据不同的学科从事的岗位也千差万别。 ... -
大数据开发学习时间,学习大数据开发需要多久
2019-07-03 14:37:38当下互联网行业大数据火了,随之大数据开发人才突然编变成了紧缺人才。因为市场上没有对口的大数据开发专业的毕业生,所以对于很多想要进入大数据开发行业的人来说,参加大数据培训,是目前主要的方式。很多人到现在... -
大数据开发学习:进行大数据开发课程有哪些
2019-05-09 14:54:35对于专业大数据技术的学习,需要学习的大数据开发课程有哪些呢? 大数据开发课程: 一、Hadoop 可以说,hadoop几乎已经是大数据代名词。 1、Hadoop产生背景 2、Hadoop在大数据、云计算中的位置和关系 3、国内外... -
Java大数据开发做什么?Java大数据开发成长路线
2020-11-06 15:11:46今天我们主要来讲讲Java大数据开发做什么,又该如何进行成长路线规划。 在Java程序界流行着一种默认的说法叫「黄金5年」,也就是一个程序员从入职的时候开始算起,前五年的选择直接影响着整个职业生涯中的职业发展... -
大数据开发需要哪些工具?大数据开发必备工具汇总
2019-08-24 21:59:34大数据研究的出现,为企业、研究机构、政府决策提供了新的行之有效思路和手段,想要做好大数据的管理和分析,一些大数据开发工具的使用是必不可少的,以下是大数据开发过程中常用的工具: 1. Apache Hive Hive是一... -
如何才能学好大数据开发,大数据开发的学习路线是什么?
2019-03-06 19:22:26对于现代社会,大数据开发的重要性不言而喻,通过大量的数据处理、分析获取有价值的信息,对当今企业、研究机构以及政府机关做决策是至关重要的,这一现象在未来会更加平常,因此,对大数据开发人才的需求量也会更大... -
大数据开发需要哪些技巧?大数据开发需要学习哪些技术?
2019-05-16 22:01:24大数据开发需要哪些技巧 ——科多大数据助你实现高薪梦想 大数据作为时下火热的IT行业的词汇,随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相... -
java开发_Java大数据开发做什么?Java大数据开发成长路线
2020-11-08 04:00:04今天我们主要来讲讲Java大数据开发做什么,又该如何进行成长路线规划。在Java程序界流行着一种默认的说法叫「黄金5年」,也就是一个程序员从入职的时候开始算起,前五年的选择直接影响着整个职业生涯中的职业发展方.... -
什么是大数据开发?大数据开发要学什么?一个Java转行过程和经历
2018-12-05 23:13:42大数据开发是大数据职业发展方向之一,另外一个方向是大数据分析。从工作内容上来说,大数据开发主要是负责大数据挖掘,大数据清洗处理,大数据建模等工作,主要是负责大规模数据的处理和应用,工作主要以开发为主,... -
携程大数据开发平台实践
2019-02-27 07:52:24携程大数据开发平台实践 一个非常好的学习大数据开发的资料 -
大数据开发经验分享:学习大数据开发的方法
2019-05-22 14:33:14学习大数据开发的方法有哪些? 一、学会爱数据 数据科学是一个广泛而模糊的领域,这使得它很难学习。没有动力,你最终会中途停止对自己失去信心。 你需要些东西来激励你不断学习,即使是在半夜公式已经开始变的模糊... -
大数据开发和java的前景_Java大数据开发前景好吗?
2020-12-24 14:55:01今天我们就从成都大数据工程师培训班的角度,来聊聊Java大数据开发前景怎么样。在过去的近十年当中,Java开发工程师们,无疑是有着非常好的发展前景,但是随着越来越多的人开始涌入大数据行业,行业人才饱和,Ja... -
python做大数据开发是做什么的_大数据开发是干什么的?
2020-12-17 09:09:09随着大数据时代的来临,大数据开发也应运而生。大数据开发其实分两种,第一类是编写一些Hadoop、Spark的应用程序,第二类是对大数据处理系统本身进行开发。第一类工作感觉更适用于data analyst这种职位吧,而且现在... -
大数据开发和java的前景_大数据开发和javaEE后端开发哪个就业前景好?
2020-12-24 14:54:53javaEE后端开发和大数据开发(HadoopSpark...)哪个就业前景好?本科计算机毕业一年了最近在自学想选择一个方向努力有JavaSE基础想知道这两个方向市场怎么样我知道javaEE后端开发需求应该大一些但不知道大数据开发... -
大数据开发笔试资料
2019-03-10 15:44:43完整的大数据试题和答案,对于想应聘大数据开发工程师岗位需要准备笔试的人很有帮助 -
大数据开发实战.zip
2019-07-23 11:10:27离线 实时 大数据开发实战
-
鲁大师_v5.1020.1165_去广告清爽版绿单文件.exe
-
acuity切台.pdf
-
性能测试面面观
-
‘grbgetkey‘ 不是内部或外部命令,也不是可运行的程序 或批处理文件
-
超级好用老板键.rar
-
Zhong Shi Ying Yu Zhi Jian (Bei - Ping Qia Mu.mobi
-
微猫wetool个人版安装包修复低版微信问题.exe
-
2020牛客暑期多校集训营第三场题解.pdf
-
WPF上位机数据采集与监控系统零基础实战
-
754. 平方矩阵 II ( 模拟 )
-
FPGA 之 SOPC 系列(五)Nios II 软件使用与程序开发 I
-
【数据分析-随到随学】Python数据获取
-
three.js入门速成
-
Codeforces Round #674 (Div. 3)
-
iapp加QQ群代码
-
考研-2009-2021年计算机408真题及答案 资料整理不易
-
单元测试UnitTest+Pytest【Selenium3】
-
【数据分析-随到随学】数据可视化
-
转行做IT-第1章 计算机基础
-
中文说明worldserver.conf