热门好课推荐
猜你喜欢
相关培训 相关博客
  • 大数据学习笔记一、hadoop2.0项目结构1hdfs分布式文件系统2yarn资源调度系统3mapReduce离线数据分析4Tez组成有向无环图DAG计算5Spark分布式内存计算6Hive数据仓库,用Sql对数据进行统计分析7Pig代替mapReduce进行简单的Sql语句,轻量级脚本语言8,zookeeper分布式...
    2018-07-27 10:55:54
    阅读量:142
    评论:0
  • 自己总结的这些知识点都是从赵勇编写的架构大数据-大数据技术及算法分析这本书上总结的。在接触这本书之前,自己对于大数据的概念还很模糊,对于大数据和云计算的差别还是很不清楚,看完书之后,总结一下几点:1)大数据主要侧重于数据的处理,流数据、批量数据、图计算等。在数据处理过程中,批量的数据处理的代表工具是Hadoop,流数据的数据处理代表的是Storm技术,而图计算这种密集型的代表是Spark,
    2017-03-09 20:12:15
    阅读量:4952
    评论:0
  • 一、大数据      大数据(bigdata),指无法在一定时间范围呢用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率的多样化的信息资产。      在维克托·迈尔·舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IB
    2018-01-22 21:52:10
    阅读量:1127
    评论:0
  • 链接:http://pan.baidu.com/s/1dEIvEQ9密码:33is链接:http://pan.baidu.com/s/1mii5LX2密码:avj6文档目录:第一部分Spark学习 6第1章Spark介绍 71.1Spark简介与发展 71.2Spark特点 71.3Spark与Hadoop集成 71.4Spark组件 8第2
    2016-11-03 09:47:30
    阅读量:718
    评论:0
  • 大数据测试学习笔记之01这是2018年度业余主要学习和研究的方向的笔记:大数据测试整个学习笔记以短文为主,记录一些关键信息和思考大数据特征即通常所讲的大数据4V特征:Variety:数据类型分为结构化数据、半结构化数据(例如电子邮件、办公处理文档)、非结构化数据(文本、音频、视频等等)Velocity:大数据具有时效性,要求在正常业务处理时必须及时的处理大数据才能最大化的挖掘和利用大数据的潜在商业...
    2018-03-07 21:12:55
    阅读量:190
    评论:0
  • Spark大数据学习笔记_第2篇_CDH集群环境搭建Spark大数据学习笔记_第2篇_CDH集群环境搭建1.安装hadoop包2.修改core-site.xml3.修改hdfs-site.xml4.修改mapred-site.xml5.修改yarn-site.xml6.修改slaves文件7.在另外两台机器上搭建hadoop8.启动hdfs集群9.启...
    2018-09-06 17:11:19
    阅读量:67
    评论:0
  • Spark大数据学习笔记_第4篇_zookeeper集群环境搭建Spark大数据学习笔记_第4篇_zookeeper集群环境搭建1.安装ZooKeeper包2.配置zoo.cfg3.设置zk节点标识4.搭建zk集群5.启动ZooKeeper集群1.安装ZooKeeper包1、将课程提供的zookeeper-3.4.5-cdh5.3.6...
    2018-09-07 11:05:52
    阅读量:47
    评论:0
  • Spark大数据学习笔记_第3篇_Hive的安装Spark大数据学习笔记_第3篇_Hive的安装1.安装hive包2.安装mysql3.配置hive-site.xml4.配置hive-env.sh和hive-config.sh5.验证hive是否安装成功1.安装hive包1、将课程提供的hive-0.13.1-cdh5.3.6.t...
    2018-09-06 17:42:47
    阅读量:168
    评论:0
  • 笔记汇总1.Zookeeper用于集群主备切换。2.YARN让集群具备更好的扩展性。3.Spark没有存储能力。4.Spark的Master负责集群的资源管理,Slave用于执行计算任务。5.Hadoop从2.x开始,把存储和计算分离开来,形成两个相对独立的子集群:HDFS和YARN,MapReduce依附于YARN来运行。6.YARN可以为符合YARN编程...
    2019-05-25 21:59:51
    阅读量:467
    评论:0
  • 数据库学习笔记1数据库基础2mysql客户端使用与快速入门3数据类型4创建表5mysql查询操作6条件查询与通配符7-8mysql函数数据处理与函数9-10mysql分组查询与子查询11-12mysql表联结13数据增删改操作14mysql数据备份与还原15mysql数据库的应用16数据库总复习1数据库基础http://note.youdao.com/notesha...
    2019-03-25 17:28:32
    阅读量:61
    评论:0