热门好课推荐
猜你喜欢
相关培训 相关博客
  • 大数据测试学习笔记之01这是2018年度业余主要学习和研究的方向的笔记:大数据测试整个学习笔记以短文为主,记录一些关键信息和思考大数据特征即通常所讲的大数据4V特征:Variety:数据类型分为结构化数据、半结构化数据(例如电子邮件、办公处理文档)、非结构化数据(文本、音频、视频等等)Velocity:大数据具有时效性,要求在正常业务处理时必须及时的处理大数据才能最大化的挖掘和利用大数据的潜在商业...
    2018-03-07 21:12:55
    阅读量:200
    评论:0
  • 自己总结的这些知识点都是从赵勇编写的架构大数据-大数据技术及算法分析这本书上总结的。在接触这本书之前,自己对于大数据的概念还很模糊,对于大数据和云计算的差别还是很不清楚,看完书之后,总结一下几点:1)大数据主要侧重于数据的处理,流数据、批量数据、图计算等。在数据处理过程中,批量的数据处理的代表工具是Hadoop,流数据的数据处理代表的是Storm技术,而图计算这种密集型的代表是Spark,
    2017-03-09 20:12:15
    阅读量:5013
    评论:0
  • 大数据学习笔记一、hadoop2.0项目结构1hdfs分布式文件系统2yarn资源调度系统3mapReduce离线数据分析4Tez组成有向无环图DAG计算5Spark分布式内存计算6Hive数据仓库,用Sql对数据进行统计分析7Pig代替mapReduce进行简单的Sql语句,轻量级脚本语言8,zookeeper分布式...
    2018-07-27 10:55:54
    阅读量:144
    评论:0
  • 大数据测试学习笔记之测试工具集本文主要记录大数据测试的一些基本工具,以便后续用的时候能深入的去学习。Bigbench由Teradata、多伦多大学、InfoSizing、Oracle开发,其设计思想和利用扩展具有研究价值,可以参阅论文Bigbench:Towardsanindustrystandardbenchmarkforbigdataanalytics。论文pdf:http:/...
    2018-03-15 20:48:22
    阅读量:2985
    评论:0
  • 简介在本次笔记中主要汇总Python关于大数据处理的一些基础性工具,个人掌握这些工具是从事大数据处理和大数据测必备技能主要工具有以下(包括但不限于):numpypandasSciPyScikit-LearnSparkMatplotlib对于上述工具,笔者之前已经从安装部署、学习其官方示例等等均已经初步做了一些学习,但在实战方面有待进一步提升,有兴趣的朋友可以加入和我一起学习提升。numpyNumP...
    2018-03-14 20:56:25
    阅读量:1086
    评论:0
  • 链接:http://pan.baidu.com/s/1dEIvEQ9密码:33is链接:http://pan.baidu.com/s/1mii5LX2密码:avj6文档目录:第一部分Spark学习 6第1章Spark介绍 71.1Spark简介与发展 71.2Spark特点 71.3Spark与Hadoop集成 71.4Spark组件 8第2
    2016-11-03 09:47:30
    阅读量:721
    评论:0
  • Spark大数据学习笔记_第2篇_CDH集群环境搭建Spark大数据学习笔记_第2篇_CDH集群环境搭建1.安装hadoop包2.修改core-site.xml3.修改hdfs-site.xml4.修改mapred-site.xml5.修改yarn-site.xml6.修改slaves文件7.在另外两台机器上搭建hadoop8.启动hdfs集群9.启...
    2018-09-06 17:11:19
    阅读量:73
    评论:0
  • 一、大数据      大数据(bigdata),指无法在一定时间范围呢用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率的多样化的信息资产。      在维克托·迈尔·舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IB
    2018-01-22 21:52:10
    阅读量:1216
    评论:0
  • Spark大数据学习笔记_第4篇_zookeeper集群环境搭建Spark大数据学习笔记_第4篇_zookeeper集群环境搭建1.安装ZooKeeper包2.配置zoo.cfg3.设置zk节点标识4.搭建zk集群5.启动ZooKeeper集群1.安装ZooKeeper包1、将课程提供的zookeeper-3.4.5-cdh5.3.6...
    2018-09-07 11:05:52
    阅读量:50
    评论:0