精华内容
下载资源
问答
  • 大数据开发

    2020-05-19 21:35:56
    大数据开发

    知识体系结构

    职业要求:

    • 能进行大数据Hadoop、Yarn、Spark、Hive、HBase、Kafka、Zookeeper、Flume、AI平台等组件的研发、交付及解决方案支撑
    • 能探索云服务化实现的前沿技术,并负责云大数据服务的架构设计、开发、测试及运维
    • 精通JAVA软件开发,有软件开发项目经验,并至少熟练掌握以下语言中的一种:C/C++/GO/Python/PHP/Python/Shell等编程语言及脚本语言;
    • 熟悉大数据相关开源软件,有应用大数据组件的解决问题的实战经验,有开源社区代码贡献
    • 可以对单点算法性能做出极致优化,或具备全局视野,能从E2E考虑算法应用竞争力体现;
    • 能解决移动终端设备人工智能、大数据挖掘算法和解决方案的研究、设计、验证和交付
    • 能对传感器在专业运动健康、生物识别、情景感知等技术做出优秀的用户体验
    • 具备人工智能AI算法、大数据算法、数据结构算法设计和开发能力
    • 具备前沿人工智能技术跟踪和业界趋势的跟踪和算法应用能力
    • 至少掌握一种数据挖掘工具和深度模型训练工具,如Tensorflow,caffe,matlab
    • 创新、攻坚、合作、沟通

    一 大数据技术原理与应用

    1. 大数据概述
    2. 大数据处理架构Hadoop
    3. 分布式文件系统HDFS
    4. 分布式数据库HBase
    5. NoSQL数据库
    6. 云数据库
    7. MapReduce
    8. 基于Hadoop的数据仓库Hive
    9. Hadoop架构再探讨
    10. Spark
    11. 流计算
    12. 图计算
    13. 大数据在不同领域的应用
    14. 666
    15. 666

    二 Spark编程基础(Python版)

    1. 大数据技术概述
    2. Spark的设计与运行原理
    3. Spark环境搭建和使用方法
    4. RDD编程基础
    5. Spark SQL
    6. Spark Streaming
    7. Structured Streaming
    8. Spark MLlib

    展开全文
  • 大数据开发工程师系列:Hadoop & Spark大数据开发实战》
  • 在大数据的发展当中,对相关专业人才的需求是在持续增长的,包括大数据开发、数据分析挖掘等不同的数据处理环节,都形成了相应的岗位体系,大家各自负责不同的环节,共同完成大数据处理任务。今天我们主要来讲讲...

    在大数据的发展当中,对相关专业人才的需求是在持续增长的,包括大数据开发、数据分析挖掘等不同的数据处理环节,都形成了相应的岗位体系,大家各自负责不同的环节,共同完成大数据处理任务。今天我们主要来讲讲大数据开发就业,了解大数据开发有哪些岗位?

    大数据开发有哪些岗位

    首先,大数据开发通常指的是基于大数据产业链的一系列开发任务,涉及到大数据平台开发、大数据应用开发等,另外还包括数据采集产品的开发、数据整理产品的开发等等,如果向上延伸的话,部分大数据开发任务与人工智能开发任务也具有密切的联系。

    大数据开发分两个层次:

    大数据开发通常有两层含义,一层是进行大数据平台自身的开发,这属于研发级开发任务,通常称作大数据平台开发

    比如说大数据平台Hadoop就是采用Java语言开发的。整个大数据平台还涉及到一系列产品,包括HBase、Hive、Avro、Zookeeper、Pig、Mahout、Cassandra等,开发和维护这些产品往往需要一个庞大的技术团队。

    所以平台开发,通常是要行业当中颇具实力的头部企业去做。像Hadoop生态下的各种技术框架组件,托管在Apache旗下开源,除了最初的研发团队,也会有很多的Contributor在出力维护。

    通常来说,从事大数据平台开发的程序员往往需要具备丰富的开发经验,同时具备较强的研发能力,能够搭建出一个稳定的分布式计算体系。

    大数据开发就业

    大数据开发的另一层含义是在大数据平台下进行大数据应用开发,比如在Hadoop、Spark平台下进行具体的大数据应用开发,应用级开发难度要相对小一些,但是往往需要与具体的场景进行紧密的联系,需要开发者具备一定的行业背景知识。

    具体来说,大数据应用开发主要的任务有两个,其一是进行已有软件产品的大数据改造;其二是针对于具体的大数据需求进行全新的大数据应用开发。在企业当中,大数据落地应用的初期,大数据改造的开发任务会相对多一些,而随着需求的不断变化,新的大数据开发任务会逐渐增加。

    目前行业当中常说的大数据开发,其实更多是指数据研发偏ETL方向;大数据平台开发,则是指开发各种简化数据任务编程的平台,国内常见的有阿里的Dataworks、网易的猛犸等。

    事实上,在企业招聘当中,大数据开发的岗位Title还有更多,具体命名不同,在企业当中所规划出来的岗位职责也不同,作为技术开发者,需要结合岗位技能需求来不断提升自己的技术水平实力。

    展开全文
  • 大数据开发工程师系列:Hadoop & Spark大数据开发实战》
  • 大数据开发分享

    2017-02-04 16:23:02
    大数据开发
  • 继续介绍大数据系列岗位的要求,今天是“最热门”的岗位大数据开发工程师,之所以说热门主要是基于2个原因,一是因为很多应届生或者想转入大数据行业的同学,都是期望从事“大数据开发”这一定位不是很清晰的岗位;...

    继续介绍大数据系列岗位的要求,今天是“最热门”的岗位大数据开发工程师,之所以说热门主要是基于2个原因,一是因为很多应届生或者想转入大数据行业的同学,都是期望从事“大数据开发”这一定位不是很清晰的岗位;二是因为至少有3个岗位可以称为“大数据开发”,所以这里的“最热门”需要详细分析。老套路先从几个大厂的岗位要求说起。

    今日头条

    1、本科以上学历,软件工程/计算机/通信/数学等相关专业;

    2、熟悉Hive SQL语言,熟悉shell, python等至少一种脚本语言;

    3、有hadoop、spark、flink等至少一种大数据平台的使用经验;

    4、理解能力强,善于沟通,有责任心和团队精神;

    5、有数据仓库建设、商业数据分析、增长项目经验者优先。

    有赞

    1、java/scala至少熟练使用一种

    2、具备扎实的计算机理论基础, 对数据结构及算法有较强的功底

    3、熟悉至少一种实时计算引擎 Storm, Spark Streaming, Flink, 对hadoop生态其他组件有一定了解,比如 HBase, hadoop, Hive, Druid等

    4、有大规模集群应用开发经验优先

    5、有BAT工作经验优先

    6、具备良好工作习惯和团队协作精神

    华为

    1、计算机或相关专业本科及以上学历,对数据处理、数据建模、数据分析等有深刻认识和实战经验;

    2、熟悉Hadoop/Spark/Hive/HBase等大数据工具,主导过大型数据平台建设者优先;

    3、精通SQL,熟悉常用的关系型数据库、非关系性数据库和数据仓库,具有SQL性能优化经验;

    4、了解微服务开发理念、实现技术,熟悉常见设计模式,熟练掌握SSH开发框架,熟练进行Java、Python代码编写,熟悉多线程编程;

    5、思维敏捷,对新技术敏感,有较强的钻研学习能力;

    蚂蚁金服

    1、三年以上工作经验,有大型互联网行业从业经验

    2、有Hadoop/Hive/Spark/Storm/Zookeeper 等相关开发经验或从事分布式相关系统的开发工作

    3、熟悉Linux/Unix系统和丰富的Java开发经验

    4、具有强烈的责任心,求知欲望强

    小影

    1、本科及以上学历,计算机相关专业

    2、3年以上企业级数据仓库开发经验

    3、熟悉数据仓库理论,具备复杂业务需求梳理能力

    4、熟练SQL开发,精通Mysql等关系型数据库中的一种或几种

    5、熟练掌握Hadoop及Map-Reduce应用开发,熟练掌握HBase、Hive、Storm、spark等大数据开发工具中一种或几种

    6、熟悉Linux系统,具备shell、python等脚本开发能力者优先

    7、学习能力强,喜欢研究开源新技术,有团队观念,具备独立解决问题的能力

    能力三核模型分析

    大数据开发工程师.png

    综合结果如下

    知识

    1、本科及以上学历(3)

    2、计算机相关专业(4)

    硬技能

    1、熟练掌握hadoop、Hbase、Hive、Storm、Spark Streaming、flink等大数据开发工具中一种或几种(5)

    2、熟悉shell、python、scala、java等至少一种开发语言(5)

    3、熟悉linux/unix系统(2)

    4、有数据仓库建设、数据处理、数据建模、数据分析相关经验(2)

    5、精通sql,熟悉常用的关系型数据库和非关系型数据库(1)

    才干or 软技能

    1、良好的团队精神(3)

    2、较强的学习能力和欲望(3)

    3、强烈的责任心(2)

    4、独立解决问题能力(1)

    分析

    从上面硬技能来看,同时具备1,2,3项不是很难,这个都是程序开发的范畴,但是要和4,5两个条件同时具备这个就非常难了,这是明显的两个职位。所以需要先看一下工作职责和内容

    岗位职责

    1、负责数据仓库建设、ETL开发、数据分析(3)

    2、负责数据指标统计(2)

    3、负责大数据实时计算平台及业务开发(1)

    4、负责大数据平台建设及维护(2)

    通过上面4项总结后的岗位职责可以看出,1、2两项职责是针对数据仓库岗位要求,也就是前面系列文章大数据岗位要求之数据仓库所介绍内容;第3项岗位职责主要是对应第一项hadoop生态体系硬技能要求的,主要是在实时计算及二次开发方面;第4项岗位要求是大数据平台工具的开发,一般包括开发平台、调度系统、元数据平台等工具,主要对应java等语言开发能力要求。

    个人经验

    通过上述分析可以知道数据仓库开发、实时计算开发、大数据平台开发一般都会被称作大数据开发,其实这是3个岗位,各自要求也不尽相同。希望对应届生同学或者想转入大数据行业的同学有所帮助。

    延伸一下hadoop生态体系太庞大了,包括但不限于hdfs、hive、hbase、storm、spark、flink、kafka、flume等,所以作为一个优秀的大数据开发,尤其是大数据运维同学的学习能力的要求是非常高的。在非大数据同学看来这些都是大数据同学应该掌握的,并且在一般公司招聘时也不会每个系统招一个人,也都是综合要求,这样大神或者架构师市面上还是有的,只是太少了,所以大数据开发的薪酬待遇高也是有道理的。

    展开全文
  • 大数据开发近几年越来越火,很多小伙伴都想要从事大数据开发行业。但是零基础怎么学习大数据开发,零基础学习大数据能学会吗?这是很多想要零基础学习大数据开发都想要知道的问题。 零基础怎样学习大数据开发: 1、...

    大数据开发近几年越来越火,很多小伙伴都想要从事大数据开发行业。但是零基础怎么学习大数据开发,零基础学习大数据能学会吗?这是很多想要零基础学习大数据开发都想要知道的问题。

    在这里插入图片描述

    零基础怎样学习大数据开发:
    1、了解大数据理论:
    在学习大数据钱首先要了解什么是大数据,大数据应用于什么领域,大数据以后可以从事的岗位,对大数据有个大概的了解,才能清楚的认识到自己是否对大数据感兴趣,尤其是是零基础学习大数据,兴趣至关重要,如果对于大数据一无所知就开始学习,有可能发现自己其实并不喜欢,没有缜密的学习计划,很可能浪费很多的时间和精力,甚至还可能造成金钱的浪费,所以零基础学习大数据需要提前对大数据有一定的了解和认识。
    2、计算机编程语言的学习:
    对于零基础学习大数据并不简单,因为大数据的学习需要一定的编程语言基础,对于编程语言大家应该比较清晰和了解,比如:Java、C++、R、net等等。目前大数据培训机构都会教Java编程语言,Java编程语言也是学习大数据的基础。Java基础相对来比较简单,如果你学过C语言你会发现C语言和Java很像,因为Java中很多基本语法和C++一样,比如:常用的循环语句、控制语句等课C++几乎一样,其中Java和C++是两种完全不同的语言,Java只需理解一些基本的概念,就可以用他编写出适合于各种情况的应用程序。Java略去了运算符重载、多重继承等模糊的概念,C++中许多容易混淆的概念,有的被Java弃之不用了,或者以一种更清楚更容易理解的方式实现,因此Java 语言相对是简单的。
    在学习Java的时候,我们一般需要学习这些课程: HTML&CSS&JS,java 的基础,JDBC与数据库,JSP java web技术,jQuery 与AJAX技术,SpringMVC、 Mybatis、 Hibernate等等。这些课程都能帮助我们更好了解Java,学会运用Java。
    3.大数据相关课程的学习:
    学完了编程语言之后,一般就可以进行大数据部分的课程学习了。大数据课程,包括大数据技术入门,海量数据高级分析语言,海量数据存储分布式存储,以及海量数据分析分布式计算等部分,Linux、Hadoop、Scala、HBase、Hive、 Spar等等专业课程。如果要完整的学习大数据的话,这些课程都是必不可少的。
    学习大数据开发,最重要的一点就是坚持!坚持做笔记,坚持认真听讲,坚持不断地反复练习等等,只有不断地坚持你才能够早日学成大数据开发。

    在这里插入图片描述

    学习大数据开发,可以参考下加米谷。加米谷大数据开发开课了,感兴趣的同学赶紧来预约试听吧!

    展开全文
  • 大数据开发有些什么课程呢?大数据开发培训课程有哪些呢? 阶段一、大数据基础–java语言基础方面 (1)Java语言基础 Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和...
  • 大数据开发工程师负责该领域的业务需求讨论,完成技术方案及数据开发。下面是学习啦小编整理的大数据开发工程师的岗位职责。大数据开发工程师的岗位职责1职责:1、负责所分管团队的团队建设和日常管理工作;2、负责...
  • 大数据开发和软件开发哪个前景好?大数据开发学习有难度,零基础入门要先学习Java语言打基础,然后进入大数据技术体系的学习,学习Hadoop、Spark、Storm等知识。软件开发工程师根据不同的学科从事的岗位也千差万别。 ...
  • 大数据开发学习路线:大数据开发需要掌握哪些技术 当前大数据技术目前正处在落地应用的初期,未来大数据的发展空间还是比较大的,所以学习大数据相关技术是个不错的选择。大数据开发学习路线是怎样的?学习大数据...
  • 当下互联网行业大数据火了,随之大数据开发人才突然编变成了紧缺人才。因为市场上没有对口的大数据开发专业的毕业生,所以对于很多想要进入大数据开发行业的人来说,参加大数据培训,是目前主要的方式。很多人到现在...
  • 大数据开发工程师的职责大数据开发工程师的职责1职责:1、负责数据采集、数据存储、数据查询、数据计算等基础平台的设计和开发工作;2、利用Hadoop、Spark、Flink等技术进行离线和实时数据开发 ;3、负责大数据平台的...
  • 大数据开发工程师的工作职责模板大数据开发工程师负责数据仓库的体系建设及落地实现。下面是小编整理的大数据开发工程师的工作职责模板。大数据开发工程师的工作职责模板1职责:1、独立负责工作小组,并对下级成员...
  • 今天我们主要来讲讲Java大数据开发做什么,又该如何进行成长路线规划。 在Java程序界流行着一种默认的说法叫「黄金5年」,也就是一个程序员从入职的时候开始算起,前五年的选择直接影响着整个职业生涯中的职业发展...
  • 对于专业大数据技术的学习,需要学习的大数据开发课程有哪些呢? 大数据开发课程: 一、Hadoop 可以说,hadoop几乎已经是大数据代名词。 1、Hadoop产生背景 2、Hadoop在大数据、云计算中的位置和关系 3、国内外...
  • 大数据研究的出现,为企业、研究机构、政府决策提供了新的行之有效思路和手段,想要做好大数据的管理和分析,一些大数据开发工具的使用是必不可少的,以下是大数据开发过程中常用的工具: 1. Apache Hive Hive是一...
  • 对于现代社会,大数据开发的重要性不言而喻,通过大量的数据处理、分析获取有价值的信息,对当今企业、研究机构以及政府机关做决策是至关重要的,这一现象在未来会更加平常,因此,对大数据开发人才的需求量也会更大...
  • 大数据开发需要哪些技巧 ——科多大数据助你实现高薪梦想 大数据作为时下火热的IT行业的词汇,随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相...
  • 今天我们主要来讲讲Java大数据开发做什么,又该如何进行成长路线规划。在Java程序界流行着一种默认的说法叫「黄金5年」,也就是一个程序员从入职的时候开始算起,前五年的选择直接影响着整个职业生涯中的职业发展方....
  • 大数据开发是大数据职业发展方向之一,另外一个方向是大数据分析。从工作内容上来说,大数据开发主要是负责大数据挖掘,大数据清洗处理,大数据建模等工作,主要是负责大规模数据的处理和应用,工作主要以开发为主,...
  • 携程大数据开发平台实践 一个非常好的学习大数据开发的资料
  • 学习大数据开发的方法有哪些? 一、学会爱数据 数据科学是一个广泛而模糊的领域,这使得它很难学习。没有动力,你最终会中途停止对自己失去信心。 你需要些东西来激励你不断学习,即使是在半夜公式已经开始变的模糊...
  • 今天我们就从成都大数据工程师培训班的角度,来聊聊Java大数据开发前景怎么样。在过去的近十年当中,Java开发工程师们,无疑是有着非常好的发展前景,但是随着越来越多的人开始涌入大数据行业,行业人才饱和,Ja...
  • 随着大数据时代的来临,大数据开发也应运而生。大数据开发其实分两种,第一类是编写一些Hadoop、Spark的应用程序,第二类是对大数据处理系统本身进行开发。第一类工作感觉更适用于data analyst这种职位吧,而且现在...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 32,451
精华内容 12,980
关键字:

大数据开发