• 不少想进入大数据行业的零基础学员经常会有这样一些疑问:零基础应该怎么学习?自己适合学习大数据吗?   人生,就是在不断地做选择,然后在这个选择过程中成长,让自己从一棵小树苗变成参天大树。就是我们每个对...

    我们相信人人都可以成为一个大数据程序员,现在开始,找个师兄,带你入门,学习的路上不再迷茫。

     

     

    不少想进入大数据行业的零基础学员经常会有这样一些疑问:零基础应该怎么学习?自己适合学习大数据吗?

     

    人生,就是在不断地做选择,然后在这个选择过程中成长,让自己从一棵小树苗变成参天大树。就是我们每个对大数据充满幻想终于下定决心行动的学员的选择,我们给了自己4个月的时间,想要在大数据这个领域汲取养分,让自己壮大成长。分享方向,行动以前先分享下一个大数据交流分享资源群868847735 ,欢迎想学习,想转行的,进阶中你加入,现在分享我自己的经历。

     

    明确方向

    通过国家的战略规划,看到BAT的大牛们都在大数据行业布局,新闻媒体追捧这大数据行业的项目和热点,我想如果我还没有能力独立判断的时候,跟着国家政策和互联网大佬们的步调走,这应该是错不了的。

    付诸行动

    明确了方向之后,我就整装待发,刚开始是在网络上购买了很多的视频教程,也买了很多书籍,但是最大的问题就在于,我不知道怎么入手,没关系,有信心有耐心肯定能战胜困难,我坚持了一个月,学习的节奏越来越乱,陆陆续续出现了很多的问题,没人指导,请教了几个业内的朋友,但对方工作繁忙,问了几次之后就不好意思了,自学陷入了死循环。

    意识到我学习效率的低下,以及无人指导的问题想想未来的康庄大道,咬咬牙告诉自己,一定好好好学,不然就浪费太多时间最后还会是一无所获。
     

    找到组织一起学习进步

     

    大数据零基础路线

    有信心能坚持学习的话,那就当下开始行动吧!

    一、大数据技术基础

    1、linux操作基础

    • linux系统简介与安装
    • linux常用命令–文件操作
    • linux常用命令–用户管理与权限
    • linux常用命令–系统管理
    • linux常用命令–免密登陆配置与网络管理
    • linux上常用软件安装
    • linux本地yum源配置及yum软件安装
    • linux防火墙配置
    • linux高级文本处理命令cut、sed、awk
    • linux定时任务crontab

    2、shell编程

    • shell编程–基本语法
    • shell编程–流程控制
    • shell编程–函数
    • shell编程–综合案例–自动化部署脚本

    3、内存数据库redis

    • redis和nosql简介
    • redis客户端连接
    • redis的string类型数据结构操作及应用-对象缓存
    • redis的list类型数据结构操作及应用案例-任务调度队列
    • redis的hash及set数据结构操作及应用案例-购物车
    • redis的sortedset数据结构操作及应用案例-排行榜

    4、布式协调服务zookeeper

    • zookeeper简介及应用场景
    • zookeeper集群安装部署
    • zookeeper的数据节点与命令行操作
    • zookeeper的java客户端基本操作及事件监听
    • zookeeper核心机制及数据节点
    • zookeeper应用案例–分布式共享资源锁
    • zookeeper应用案例–服务器上下线动态感知
    • zookeeper的数据一致性原理及leader选举机制

    5、java高级特性增强

    • Java多线程基本知识
    • Java同步关键词详解
    • java并发包线程池及在开源软件中的应用
    • Java并发包消息队里及在开源软件中的应用
    • Java JMS技术
    • Java动态代理反射

    6、轻量级RPC框架开发

    • RPC原理学习
    • Nio原理学习
    • Netty常用API学习
    • 轻量级RPC框架需求分析及原理分析
    • 轻量级RPC框架开发

    二、离线计算系统

    1、hadoop快速入门

    • hadoop背景介绍
    • 分布式系统概述
    • 离线数据分析流程介绍
    • 集群搭建
    • 集群使用初步

    2、HDFS增强

    • HDFS的概念和特性
    • HDFS的shell(命令行客户端)操作
    • HDFS的工作机制
    • NAMENODE的工作机制
    • java的api操作
    • 案例1:开发shell采集脚本

    3、MAPREDUCE详解

    • 自定义hadoop的RPC框架
    • Mapreduce编程规范及示例编写
    • Mapreduce程序运行模式及debug方法
    • mapreduce程序运行模式的内在机理
    • mapreduce运算框架的主体工作流程
    • 自定义对象的序列化方法
    • MapReduce编程案例

    4、MAPREDUCE增强

    • Mapreduce排序
    • 自定义partitioner
    • Mapreduce的combiner
    • mapreduce工作机制详解

    5、MAPREDUCE实战

    • maptask并行度机制-文件切片
    • maptask并行度设置
    • 倒排索引
    • 共同好友

    6、federation介绍和hive使用

    • Hadoop的HA机制
    • HA集群的安装部署
    • 集群运维测试之Datanode动态上下线
    • 集群运维测试之Namenode状态切换管理
    • 集群运维测试之数据块的balance
    • HA下HDFS-API变化
    • hive简介
    • hive架构
    • hive安装部署
    • hvie初使用

    7、hive增强和flume介绍

    • HQL-DDL基本语法
    • HQL-DML基本语法
    • HIVE的join
    • HIVE 参数配置
    • HIVE 自定义函数和Transform
    • HIVE 执行HQL的实例分析
    • HIVE最佳实践注意点
    • HIVE优化策略
    • HIVE实战案例
    • Flume介绍
    • Flume的安装部署
    • 案例:采集目录到HDFS
    • 案例:采集文件到HDFS

    三、流式计算

    1、Storm从入门到精通

    • Storm是什么
    • Storm架构分析
    • Storm架构分析
    • Storm编程模型、Tuple源码、并发度分析
    • Storm WordCount案例及常用Api分析
    • Storm集群部署实战
    • Storm+Kafka+Redis业务指标计算
    • Storm源码下载编译
    • Strom集群启动及源码分析
    • Storm任务提交及源码分析
    • Storm数据发送流程分析
    • Storm通信机制分析
    • Storm消息容错机制及源码分析
    • Storm多stream项目分析
    • 编写自己的流式任务执行框架

    2、Storm上下游及架构集成

    • 消息队列是什么
    • Kakfa核心组件
    • Kafka集群部署实战及常用命令
    • Kafka配置文件梳理
    • Kakfa JavaApi学习
    • Kafka文件存储机制分析
    • Redis基础及单机环境部署
    • Redis数据结构及典型案例
    • Flume快速入门
    • Flume+Kafka+Storm+Redis整合

    四、内存计算体系Spark

    1、scala编程

    • scala编程介绍
    • scala相关软件安装
    • scala基础语法
    • scala方法和函数
    • scala函数式编程特点
    • scala数组和集合
    • scala编程练习(单机版WordCount)
    • scala面向对象
    • scala模式匹配
    • actor编程介绍
    • option和偏函数
    • 实战:actor的并发WordCount
    • 柯里化
    • 隐式转换

    2、AKKA与RPC

    • Akka并发编程框架
    • 实战:RPC编程实战

    3、Spark快速入门

    • spark介绍
    • spark环境搭建
    • RDD简介
    • RDD的转换和动作
    • 实战:RDD综合练习
    • RDD高级算子
    • 自定义Partitioner
    • 实战:网站访问次数
    • 广播变量
    • 实战:根据IP计算归属地
    • 自定义排序
    • 利用JDBC RDD实现数据导入导出
    • WorldCount执行流程详解

    4、RDD详解

    • RDD依赖关系
    • RDD缓存机制
    • RDD的Checkpoint检查点机制
    • Spark任务执行过程分析
    • RDD的Stage划分

    5、Spark-Sql应用

    • Spark-SQL
    • Spark结合Hive
    • DataFrame
    • 实战:Spark-SQL和DataFrame案例

    6、SparkStreaming应用实战

    • Spark-Streaming简介
    • Spark-Streaming编程
    • 实战:StageFulWordCount
    • Flume结合Spark Streaming
    • Kafka结合Spark Streaming
    • 窗口函数
    • ELK技术栈介绍
    • ElasticSearch安装和使用
    • Storm架构分析
    • Storm编程模型、Tuple源码、并发度分析
    • Storm WordCount案例及常用Api分析

    7、Spark核心源码解析

    • Spark源码编译
    • Spark远程debug
    • Spark任务提交行流程源码分析
    • Spark通信流程源码分析
    • SparkContext创建过程源码分析
    • DriverActor和ClientActor通信过程源码分析
    • Worker启动Executor过程源码分析
    • Executor向DriverActor注册过程源码分析
    • Executor向Driver注册过程源码分析
    • DAGScheduler和TaskScheduler源码分析
    • Shuffle过程源码分析
    • Task执行过程源码分析

    五、机器学习算法

    1、python及numpy库

    • 机器学习简介
    • 机器学习与python
    • python语言–快速入门
    • python语言–数据类型详解
    • python语言–流程控制语句
    • python语言–函数使用
    • python语言–模块和包
    • phthon语言–面向对象
    • python机器学习算法库–numpy
    • 机器学习必备数学知识–概率论

    2、常用算法实现

    • knn分类算法–算法原理
    • knn分类算法–代码实现
    • knn分类算法–手写字识别案例
    • lineage回归分类算法–算法原理
    • lineage回归分类算法–算法实现及demo
    • 朴素贝叶斯分类算法–算法原理
    • 朴素贝叶斯分类算法–算法实现
    • 朴素贝叶斯分类算法–垃圾邮件识别应用案例
    • kmeans聚类算法–算法原理
    • kmeans聚类算法–算法实现
    • kmeans聚类算法–地理位置聚类应用
    • 决策树分类算法–算法原理
    • 决策树分类算法–算法实现
    展开全文
  • 一、大数据是否值得投入? 我们先来讨论下大数据是不是值得大家从事的一项职业,如下问题。 大数据为啥这么有诱惑力,是否值得投入,现在进去晚了吗? 首先,大数据企业众多,逐步形成产业化。从08年开始,大数据就...
  • 硕士985,控制专业,研一开始,从零基础学习了Java基础、算法、大数据框架等。 3、收获offer 春招实习拿到了蚂蚁金服、拼多多、华为(终端)、远景能源、华泰证券(Java)等。 二、我为什么转行大数据开发 从...
  • 转行进入IT行业在最近的几年一直是个热门,那么对于0基础的求学者,入行大数据开发需要什么基础呢? 在学习大数据的过程当中有遇见任何问题,可以加入我的Java/大数据交流学习秋秋qun:七三二、三八、一七,...
  • 大数据要怎么学,本文来说说到底要怎么学习它,以及怎么避免大数据学习的误区,以供参考。数据科学特点与大数据学习误区 (1)大数据学习要业务驱动,不要技术驱动:数据科学的核心能力是解决问题。 大数据的核心...
  • 前言今天分享学习经历的是学习群里的一位32大哥,他本科是计算机的,但毕业之后就待国企拿一个月4K的工资拿了好几年。后面迫于生活的经济压力开始寻求突破口...
  • 零基础参加大数据培训当然是没问题的了,目前许多大数据培训机构都开设了零基础培训班。也算是针对广大零基础的学员一种福利。 在这个人才紧缺的时代,能够把握时间,找准方向,快速的融入到这一行,肯定不是那么...
  • 随着人们对大数据的认识越来越深入,很多零基础人员看到了大数据的未来,也想学习这个前沿技术,踏入时代的领军行业。但是一直没有一个很好的思路和方向,本文将详细的讲解零基础如何学习大数据。   大数据三大...
  • 大数据的高薪吸引力很多的小伙伴,很多零基础转行的小伙伴都想学习大数据开发,部分小伙伴想要自学大数据开发,如果没有计算机基础自学大数据确实有一定的难度,但是与自身的坚持毅力也有一定的关系,当然如果你有...
  • 转行,这个话题我觉得许多朋友都非常感兴趣。...但对于希望转行数据分析的零基础小白们,他们并不知道进入数据分析行业需要学什么,也不太清楚数据分析师平时工作都在干什么。因此本文给出一些建议,...
  • 按照前两天一个朋友的建议,把我参加面试的面经写下来,分享给大家 【头条】 接到头条猎头电话,后端岗,但有机会做大量数据处理 一面已过 第一个人: mysql关系数据库:角色分配,系统设计,特殊角色的人如何给出...
  • 0基础可不可以学大数据 2018-10-17 16:37:54
    因为大数据前景好,薪资高,很多人想通过培训学习大数据,然后进入大数据行业发展。但是因为大数据的门槛较高,对于学习人员有一定的要求,那么0基础可不可以学大数据技术呢? 首先我们了解下对于大数据学习者本身...
  • 我自己的经历:刚开始大数据是看书,一页页的看书,因为身边有一个好的资源,有问题可以问我朋友,后来发现看大数据零基础书籍很难看下去,很多专业的东西对于一个新手根本就看不懂,没有什么效率。(在这里我个人...
  • 零基础大数据培训课程分为个阶段主要的学习内容:Java基础、JavaWeb、主流框架、流行框架、大数据基础增强、大数据Hadoop离线分布式系统、大数据Storm实时计算系统、大数据Spark内存计算系统、...
  • 随着人们对大数据的认识越来越深入,很多零基础人员看到了大数据的未来,也想学习这个前沿技术,踏入时代的领军行业。但是一直没有一个很好的思路和方向,本文将详细的讲解零基础如何学习大数据大数据三大学习...
  • 大数据人才供不应求,有一些人则看到了大数据带来的机遇,想通过专业的培训来学习大数据,那么大数据从0开始需要学习些什么内容呢? 一、0基础学习大数据需要Java基础 Java:开发需求最多的编程语言之一,可以...
  • 都知道大数据薪资高,前景好。而大数据又需要Java基础。对于稍微懂些Java的童鞋来说,到底如何转行大数据呢?今天小编给你一个大数据工程师具体的学习路线图。【ps:无java基础也可以学习大数据】 分享转行经验...
  • 都知道大数据薪资高,前景好。...对于Java程序员,大数据的主流平台hadoop是基于Java开发的,所以Java程序员往大数据开发方向转行从语言环境上更为顺畅,另外很多基于大数据的应用框架也是Java的,所以在...
1 2 3 4 5 ... 20
收藏数 1,526
精华内容 610