精华内容
下载资源
问答
  • 大数据职业发展方向说明: 以下的我,不是我,是原作者。我从业的两段经历大数据的方向有很多的,即使没有真正经历过,平时也会耳濡目染,在各大杂志公众号新闻上听说过,什么大数据人工智能,大数据分析挖掘,...

    大数据职业发展方向

    说明: 以下的我,不是我,是原作者。

    我从业的两段经历

    大数据的方向有很多的,即使没有真正经历过,平时也会耳濡目染,在各大杂志公众号新闻上听说过,什么大数据人工智能,大数据分析挖掘,大数据架构师等职位。

    我以我的两段从业经历来说明一下大数据的方向吧。

    我的前公司是一家互联网企业,大数据部门是从0开始起步的。

    我们的数据总监是来自百度的资深专家。

    一开始是从0开始搭建 CDH 集群,接着采集服务器日志,采集关系型数据库数据到 hadoop 上。

    等数据渐渐多了起来,我们开始着手做一个企业数据仓库,整合各个业务线的数据,最终产出各种报表和分析数据给老板和各个业务线的产品经理。此时产生了第一个小组,数据仓库组。

    然后数据越来越多,需求也越来越多,我们便开始招数据分析人员,去接第三方的数据分析需求,并产出各条业务线生产运营分析报告。此时产生了第二个小组,数据分析组。

    当时我们也有社交的场景,会员在平台上会发文章,写评论,当然必不可少的会打广告。打广告的方式也是五花八门,玩文字梗的,谐音梗的,图片上打广告的。此时需要专门从事 NLP 和图形识别的小组,去拦截平台广告。由此成立了第三个小组,AI组。

    随着社交场景的持续发展,平台内容也在逐渐增多,此时需要做一个推荐系统去构建用户的画像,给用户推荐他们喜欢的内容,维持用户的黏性。此时产生了第四个小组,推荐组。

    后面数据越来越多,老板也看到了其中的价值,需要从海量的数据中挖掘有意义的东西,比如从海量的球赛数据,赔率数据中去分析球赛结果,提高平台的整体返奖率。由此有了第五个小组,数据挖掘组。

    这便是我的第一份大数据经历,可以大致看到大数据的几个大方向,数据开发,数据分析和挖掘,人工智能和机器学习,推荐系统。

    大数据架构方向

    大数据架构方向,更多注重的是Hadoop、Spark、Flink 等大数据框架的实现原理、部署、调优和稳定性问题,以及它们与Flume、Kafka、DataX等数据流工具以及可视化工具的结合技巧。

    再有就是一些工具的商业应用问题,如Hive、Cassandra、HBase、Elasticsearch、ClickHouse等。

    能够将这些概念理解清楚,并能够用辩证的技术观点进行组合使用,达到软/硬件资源利用的最大化,服务提供的稳定化,这是大数据架构人才的目标。

    以下是大数据架构方向研究的主要方面。

    (1)架构理论:关键词有高并发、高可用、并行计算、MapReduce、Spark 等。

    (2)数据流应用:关键词有Flume、Kafka、Flink,Druid等。

    (3)存储应用:关键词有HDFS、ES,ClickHouse等。

    (4)软件应用:关键词有Hive、HBase、Spark等。

    (5)微服务应用:构建平台各种业务系统,如平台系统,调度系统,数据权限系统,api 系统等

    大数据分析方向

    大数据分析方向的人才更多注重的是数据指标的建立,数据的统计,数据之间的联系,数据的深度挖掘和机器学习,并利用探索性数据分析的方式得到更多的规律、知识,或者对未来事物预测和预判的手段。

    以下是大数据分析方向研究的主要方面。

    (1)数据库应用:关键词有RDBMS、NoSQL、MySQL、Hive等。

    (2)数据加工:关键词有ETL、Python等。

    (3)数据统计:关键词有统计、概率等。

    (4)数据分析:关键词有数据建模、数据挖掘、机器学习、回归分析、聚类、分类、协同过滤等。

    此外还有一个方面是业务知识。

    其中,数据库应用、数据加工是通用的技术技巧或者工具性的能力,主要是为了帮助分析师调用或提取自己需要的数据,毕竟这些技巧的学习成本相对较低,而且在工作场景中不可或缺,而每次都求人去取数据很可能会消耗过多的时间成本。

    数据统计、数据分析是分析师的重头戏,一般来说这两个部分是分析师的主业,要有比较好的数学素养或者思维方式,而且一般来说数学专业出身的人会有相当的优势。

    最后的业务知识方面就是千姿百态了,毕竟每家行业甚至每家公司的业务形态都是千差万别的,只有对这些业务形态和业务流程有了充分的理解才能对数据分析做到融会贯通,才有可能正确地建立模型和解读数据。

    大数据开发方向

    大数据开发方向的人才更多注重的是服务器端开发,数据库开发,呈现与可视化,人机交互等衔接数据载体和数据加工各个单元以及用户的功能落地与实现。

    以下是大数据开发研究的主要方面。

    (1)数据仓库开发:关键词有RDBMS、NoSQL、MySQL、Hive等。

    (2)数据流工具开发:关键词有Flume、Heka、Fluentd、Kafka、ZMQ等。

    (3)数据前端开发:关键词有HightCharts、ECharts、JavaScript、D3、HTML5、CSS3等。

    (4)数据获取开发:关键词有爬虫、分词、自然语言学习、文本分类等。

    展开全文
  • 原标题:【职业大数据】3大数据职业职位描述及其职业要求1. 数据工程师 职位描述:处理大量数据的公司,并管理数据通道。这意味着,当需要时,你要能确保有效地从数据源收集和检索数据,并进行清理和预处理。为什么...

    原标题:【职业大数据】3大数据职业职位描述及其职业要求

    1. 数据工程师

    职位描述:处理大量数据的公司,并管理数据通道。这意味着,当需要时,你要能确保有效地从数据源收集和检索数据,并进行清理和预处理。

    为什么它很重要:如果你只处理过相对小的(<5Gb)保存为.csv或.txt文件的数据集,那么你可能很难理解为什么会有一些人的全职工作是构建和维护数据管道。

    这里有几个原因:

    一个50Gb的数据集对计算机的RAM来说太大了,所以你通常需要其他方法将其输入到你的模型中。

    处理这么大规模的数据需要花费大量时间,并且经常需要冗余存储。管理数据的存储也需要专门的技术诀窍。

    要求:你将使用的技术包括Apache Spark、Hadoop和/或Hive,以及Kafka。你很可能还需要有一个扎实的SQL基础。

    你要处理的问题听起来像:

    “我如何构建一个能够每分钟处理10000个请求的数据管道?”

    “如何清理数据集而不用将其全部加载到RAM中?”

    2. 数据分析员

    职位描述:将数据转换成可指导业务发展的商业洞察力。你会是技术团队和商业战略、销售或营销团队的桥梁。数据可视化将成为你日常工作的重要组成部分。

    为什么它很重要:纯技术人员通常很难理解为什么数据分析员如此重要,但事实是他们就是很重要。

    这些人需要将经过训练和测试的模型和大量用户数据转换为让人易于理解的形式,以便根据数据分析结论设计业务策略。数据分析员帮助确保数据科学团队不会浪费时间在不能提供业务价值的问题上面。

    要求:你将使用的技术包括Python、SQL、Tableau和Excel。你还需要成为一个好的沟通者。

    你要处理的问题听起来像:

    “什么驱动了用户的增长?”

    “我们如何向管理层解释,最近用户费用的增加会减少客户?”

    3. 数据科学家

    职位描述:清理和探索数据集,并做出有商业价值的预测。日常工作包括训练和优化模型,并将它们部署到生产中。

    为什么它很重要:当你有一大堆数据,以至于人类无法解析,同时这些数据也很珍贵以至于不能忽略它们时,你需要通过一些办法从中提取一些可被接受的见解。这是数据科学家的基本工作:将数据转换成可被理解的结论。

    要求:你将使用的技术包括Python、scikit-learn、Pandas、SQL,可能还有Flask、Spark和/或TensorFlow/PyTorch。一些数据科学职位纯粹是技术性的,但是大多数职位还需要你具有商业头脑,这样你就不会老想着去解决没有人需要解决的问题。

    你要处理的问题听起来像:

    “我们到底有多少种不同类型的用户?”

    “我们能建立一个模型来预测哪些产品能卖给哪些用户吗?”返回搜狐,查看更多

    责任编辑:

    展开全文
  • 前言这是我的第一篇博客,写起来还真是有些小紧张~~~还请有缘看到的朋友多指点!...大数据相关工作分类大体可分为四种:运维平台开发数据分析数据科学家其中,平台开发(大数据工程师),基本是结合...

    前言

    这是我的第一篇博客,写起来还真是有些小紧张~~~还请有缘看到的朋友多指点!

    打算开始写这些东西的契机是师兄给布置的学习记录作业,而我自己这方面的原因倒主要不是记录学习(写这些东西好花时间呀...),而是看到好多大神,尤其是国外的,都在贡献自己的知识,我被他们的精神感染了,也想自己贡献些东西!

    大数据相关工作分类

    大体可分为四种:

    运维

    平台开发

    数据分析

    数据科学家

    其中,平台开发(大数据工程师),基本是结合公司业务场景及需求,以现已开源的大数据组件为基础,打造公司自己的大数据平台;数据分析则是运用公司的平台,在其之上做些报表和数据变现(听师兄说大公司将平台封装的很好,基本上都是敲SQL);至于运维,自然是为前两者提供集群支持,如资源分配,组件配置优化等。

    在这三者之上便是数据科学家啦!之前通过知乎Live得知,这里的数据科学家和大家传统理解的科学家不一样,就只是一个职业称呼。引用知乎上北冥承海生的话:

    数据科学家是指能采用科学的方法论,调动充足的计算能力,将大量人类无法处理的数据转化成有用的信息,以驱动自动化业务决策的专家。

    其中科学的方法论指的是坚实的理论基础;大量的数据指如行为日志这种海量数据;自动化业务决策是数据科学家的核心工作,体现数据优先与经验,计算优先于人工的价值观。

    理论基础方面,北冥承海生推荐了几本书:

    机器学习:PRML、Deep Learning

    最优化:Convex Optimization、Numerical Optimization

    分布式计算:Hadoop/Spark各种书籍和MOOC

    其中,最优化好像很重要,因为这些平时遇到的问题,其本质好像都可以归为一个优化问题,更一般的描述是求一个条件极值。

    至于将实际问题建成数学模型,及对已知的问题提供现在未知的解决方法,北冥承海生说在学校是学不到的,需要一个大神级mentor悉心指导和经历大量的工程实践...做到这个就能年薪百万啦!当然,钱不钱的无所谓,更重要的是,这不是搬砖,这是人类创造力的体现!在此之上更高级的创造,我想可能是:导向世界(不光人类)需求,体察潜在需求,甚至创造需求!

    一激动就扯远了,回归正题。当前大数据行业缺口巨大,有兴趣的朋友也可以看看下面的文章,写得比较务实。

    展开全文
  • 5Gb)保存为.csv或.txt文件的数据集,那么你可能很难理解为什么会有一些人的全职工作是构建和维护数据管道。这里有几个原因:一个50Gb的数据集对计算机的RAM来说太大了,所以你通常需要其他方法将其输入到你...

    1. 数据工程师

    职位描述:处理大量数据的公司,并管理数据通道。这意味着,当需要时,你要能确保有效地从数据源收集和检索数据,并进行清理和预处理。

    为什么它很重要:如果你只处理过相对小的(<5Gb)保存为.csv或.txt文件的数据集,那么你可能很难理解为什么会有一些人的全职工作是构建和维护数据管道。

    这里有几个原因:

    一个50Gb的数据集对计算机的RAM来说太大了,所以你通常需要其他方法将其输入到你的模型中。

    处理这么大规模的数据需要花费大量时间,并且经常需要冗余存储。管理数据的存储也需要专门的技术诀窍。

    要求:你将使用的技术包括Apache Spark、Hadoop和/或Hive,以及Kafka。你很可能还需要有一个扎实的SQL基础。

    你要处理的问题听起来像:

    “我如何构建一个能够每分钟处理10000个请求的数据管道?”

    “如何清理数据集而不用将其全部加载到RAM中?”

    2. 数据分析员

    职位描述:将数据转换成可指导业务发展的商业洞察力。你会是技术团队和商业战略、销售或营销团队的桥梁。数据可视化将成为你日常工作的重要组成部分。

    为什么它很重要:纯技术人员通常很难理解为什么数据分析员如此重要,但事实是他们就是很重要。

    这些人需要将经过训练和测试的模型和大量用户数据转换为让人易于理解的形式,以便根据数据分析结论设计业务策略。数据分析员帮助确保数据科学团队不会浪费时间在不能提供业务价值的问题上面。

    要求:你将使用的技术包括Python、SQL、Tableau和Excel。你还需要成为一个好的沟通者。

    你要处理的问题听起来像:

    “什么驱动了用户的增长?”

    “我们如何向管理层解释,最近用户费用的增加会减少客户?”

    3. 数据科学家

    职位描述:清理和探索数据集,并做出有商业价值的预测。日常工作包括训练和优化模型,并将它们部署到生产中。

    为什么它很重要:当你有一大堆数据,以至于人类无法解析,同时这些数据也很珍贵以至于不能忽略它们时,你需要通过一些办法从中提取一些可被接受的见解。这是数据科学家的基本工作:将数据转换成可被理解的结论。

    要求:你将使用的技术包括Python、scikit-learn、Pandas、SQL,可能还有Flask、Spark和/或TensorFlow/PyTorch。一些数据科学职位纯粹是技术性的,但是大多数职位还需要你具有商业头脑,这样你就不会老想着去解决没有人需要解决的问题。

    你要处理的问题听起来像:

    “我们到底有多少种不同类型的用户?”

    “我们能建立一个模型来预测哪些产品能卖给哪些用户吗?”

    End.

    来源:大数据观察

    展开全文
  • 原标题:大数据职业发展规划1.如何成为大数据工程师由于目前大数据人才匮乏,对于公司来说,很难招聘到合适的人才—既要有高学历,同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。2014年8月,阿里...
  • 综合网络解释加上自己的理解给出了大数据的定义。大数据就是数据规模达到海量级、极快的速度流转、数据类型和来源多种多样、价值密度低而且能够反映事物真实性的数据就是大数据大数据的工作内容包括以下几个方面:...
  • ______________________________________________________________________________________________________________精品资料对于大数据的认识和理解这学期选修了网络工程这门课程,当时是抱着扫盲的态度选的这门...
  • 因为大数据行业是一个很广泛的概念,想要从事大数据行业的朋友可以有很多职业方向的选择。下面我将把大数据行业大致划分为五个方向的就业岗位,它们分别是数据管理专员、数据工程师、商业分析师、机器学习研究员/...
  • 那么,大数据为什么成为所有人关注的焦点?大数据带来了什么样的本质性改变?为此,我们与中国计算机学会大数据学术带头人、中国人民大学信息学院院长杜小勇教授进行了访谈。大数据(Big data)通常用来形容数字化时代下...
  • 这个秘密职业就是:数据架构师在国内大数据行业大概有以下几种岗位:数据架构师、数据分析师、数据挖掘工程师、数据算法工程师和数据产品经理。接下来我们介绍第二种岗位让我们来详细地告诉你这个身份吧数据架构师...
  • 作为IT类职业中的“大熊猫”,大数据人才(数据工程师,数据分析师,数据挖掘师,算法工程师等)、在国内人才市场可谓是一颗闪耀的新星。由于刚刚出于萌芽阶段,这个领域出现很大的人才缺口。1 大数据人才做什么?2 ...
  • 信息科学技术的快速发展,互联网技术的普及应用,给人们的生产和生活带来了很大的便利,随着互联网积累的...高等职业技术院校每年为社会培养大量的生产技术、服务、管理、设备维修等方面的人才,为社会的发展做出...
  • 挖掘用户行为,分析用户兴趣,Netflix让电视剧...今年人社部发布的13种新职业就包含大数据工程技术人员!有专家坦言,数据分析师等大数据专业技术人才如同行政、财务等岗位,将成为企业的“标配”。478所高校获批开...
  • 今天的职场人择偶首选什么职业?是否认可办公室恋情?工作压力与强度能否影响婚恋进程?在经济发展迅速,社会变迁节奏日益加快的今天,职场人的婚恋观也受到了一定的冲击,2020年情人节到来之际,智联招聘联合珍爱网...
  • 业内把大数据比作是海洋之王。想象一下,如果您能在大数据的海洋中处于领先地位!将会是一种什么样子的体验。在我们的生活中,大数据无处不在,几乎迫切需要收集和保存正在生成的任何数据,以免错过重要的事情。周围...
  • 业内把大数据比作是海洋之王。想象一下,如果您能在大数据的海洋中处于领先地位!将会是一种什么样子的体验。在我们的生活中,大数据无处不在,几乎迫切需要收集和保存正在生成的任何数据,以免错过重要的事情。周围...
  • 职业拳击是欧美老牌的职业体育运动,通过近20年的发展,它对于中国人也已不再陌生。只是相比于足球、篮球、网球等所谓的“主流运动”,拳击在中国的发展仍没有达到它的国际地位所对应高度,其背后的原因很值得中国...
  • 点击 上方蓝字“西南云校”关注我们 11月5日晚,深圳讯方西南片区产品与交付中心总监李洋应四川邮电职业技术学院邀请为该校2020级大数据技术与应用学生做“大数据行业发展态势与前景”主题讲座。为加强学生对大数据...
  • 最近几年,大数据行业的迅猛发展带动了数据分析师需求量的增加。数据分析师迅速成为了求职市场上的香馍馍。造成一些圈外人认为数据分析就是企业的灵丹妙药,通过数据分析能解决一切问题。产品改版,营销策略,市场...
  • 职业发展之大数据开发工程师理解

    千次阅读 2018-10-12 14:48:51
    大数据工程师需要具备哪些能力?  (1)数学及统计学相关的背景; (2)计算机编码能力; (3)对特定应用领域或行业的知识。 大数据工程师这个角色很重要的一点是,不能脱离市场,因为大数据只有和特定领域的...
  • 大数据技术初探大数据技术路线路线总体与分支路线分支庖丁解牛计算机基础JAVA基础路线JAVA EE核心路线Hadoop生态体系学习路线Spark生态体系学习路线Flink生态体系学习路线大数据职业规划总结 引言 今年秋招之前,我...
  • 各种数据聚集,各种用户信息采集,各种数据分析; 曾经有人用苹果公司的IPhone手机通过定位服务->常去...通过这一条数据就能分析出,这个人的工作地址,工作职业,是否有孩子,家庭住址,时有去哪里,甚至你去银行地址
  • SAS CTO谈大数据价值,什么职业最性感?也许你会说是运动员、艺术家或者演员,其实不然。《哈佛商业评论》认为“数据科学家”是二十一世纪最性感的职业。很多人还不知道什么是数据科学家,更不能理解为什么数据科学家...
  • 文章目录大数据概况及Hadoop生态系统1、大数据概念理解1.1、什么是大数据?1.2、大数据特征(4V)?1.3、大数据应用场景?1.4、大数据部门业务流程分析?1.5、大数据部门组织结构?1.6、数据仓库与数据库的区别?2、...
  • 关于大数据的三大误区 随着整个行业对大数据的兴趣越来越大,我最爱的话题之一,我在2013年做过的大数据的公众演讲超过我职业生涯中的任何往年。我在行业大会、活动,大学以及EMC内部共做过许多次演讲。在这些演讲中...
  • 其二,目前的职业规划中,是想从事大数据相关的工作,所以也要从基础学习大数据相关知识;其三,学到一个知识点最好的办法就是,把学到的内容以教学的方式再讲述一遍。故近期会在学习的过程中,将所学内容,按照自己...
  • 全球的数据量正在以每18个月翻一倍的...随着大数据在国内的发展,大数据相关人才却出现了供不应求的状况,大数据分析师更是被媒体称为“未来最具发展潜力的职业之一”。大数据分析师大数据分析师就是一群玩数据的人...
  • 大数据分析师技能图谱详解

    千次阅读 2019-12-26 19:37:15
    中国是人才大国,能理解和应用大数据的创新人才更是稀缺资源。大数据分析应用已经渗透到我们生活的方方面面。 随着大数据在国内的发展,大数据相关人才却出现了供不应求的状况,大数据分析师更是被媒体称为“未来最...
  • 2018 年11 月8日,福州职业技术学院阿里云大数据学院2018“最佳助导”评选暨迎新主题活动在学院团委陈力钧老师的指导下于500人礼堂顺利开展。经初赛,入围第二轮的助导们纷纷展示自己的风采,送寄语,将自己一年以来...

空空如也

空空如也

1 2 3 4 5
收藏数 100
精华内容 40
关键字:

大数据职业理解