热门好课推荐
猜你喜欢
相关培训 相关博客
  • 大数据测试学习笔记之01这是2018年度业余主要学习和研究的方向的笔记:大数据测试整个学习笔记以短文为主,记录一些关键信息和思考大数据特征即通常所讲的大数据4V特征:Variety:数据类型分为结构化数据、半结构化数据(例如电子邮件、办公处理文档)、非结构化数据(文本、音频、视频等等)Velocity:大数据具有时效性,要求在正常业务处理时必须及时的处理大数据才能最大化的挖掘和利用大数据的潜在商业...
    2018-03-07 21:12:55
    阅读量:208
    评论:0
  • 大数据学习笔记一、hadoop 2.0 项目结构1 hdfs 分布式文件系统 2 yarn 资源调度系统 3 mapReduce 离线数据分析 4 Tez 组成有向无环图DAG计算 5 Spark 分布式内存计算 6 Hive 数据仓库,用Sql对数据进行统计分析 7 Pig 代替mapReduce进行简单的Sql语句,轻量级脚本语言 8,zookeeper 分布式...
    2018-07-27 10:55:54
    阅读量:152
    评论:0
  • 大数据测试学习笔记之测试工具集本文主要记录大数据测试的一些基本工具,以便后续用的时候能深入的去学习。Bigbench由Teradata、多伦多大学、InfoSizing、Oracle开发,其设计思想和利用扩展具有研究价值,可以参阅论文Bigbench:Towards an industry standard benchmark for big data analytics。论文pdf:http:/...
    2018-03-15 20:48:22
    阅读量:3299
    评论:0
  • 一、大数据      大数据(bigdata),指无法在一定时间范围呢用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率的多样化的信息资产。      在维克托·迈尔·舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IB
    2018-01-22 21:52:10
    阅读量:1494
    评论:0
  • Spark大数据学习笔记_第2篇_CDH集群环境搭建Spark大数据学习笔记_第2篇_CDH集群环境搭建1. 安装hadoop包2. 修改core-site.xml3. 修改hdfs-site.xml4. 修改mapred-site.xml5. 修改yarn-site.xml6. 修改slaves文件7. 在另外两台机器上搭建hadoop8. 启动hdfs集群9. 启...
    2018-09-06 17:11:19
    阅读量:86
    评论:0
  • 链接: http://pan.baidu.com/s/1dEIvEQ9 密码: 33is链接: http://pan.baidu.com/s/1mii5LX2 密码: avj6文档目录:第一部分 Spark学习 6第1章 Spark介绍 71.1 Spark简介与发展 71.2 Spark特点 71.3 Spark与Hadoop集成 71.4 Spark组件 8第2
    2016-11-03 09:47:30
    阅读量:727
    评论:0
  • 简介在本次笔记中主要汇总Python关于大数据处理的一些基础性工具,个人掌握这些工具是从事大数据处理和大数据测必备技能主要工具有以下(包括但不限于):numpypandasSciPyScikit-LearnSparkMatplotlib对于上述工具,笔者之前已经从安装部署、学习其官方示例等等均已经初步做了一些学习,但在实战方面有待进一步提升,有兴趣的朋友可以加入和我一起学习提升。numpyNumP...
    2018-03-14 20:56:25
    阅读量:1163
    评论:0
  • Spark大数据学习笔记_第4篇_zookeeper集群环境搭建Spark大数据学习笔记_第4篇_zookeeper集群环境搭建1. 安装ZooKeeper包2. 配置zoo.cfg3. 设置zk节点标识4. 搭建zk集群5. 启动ZooKeeper集群1. 安装ZooKeeper包1、将课程提供的zookeeper-3.4.5-cdh5.3.6...
    2018-09-07 11:05:52
    阅读量:53
    评论:0
  • Spark大数据学习笔记_第3篇_Hive的安装Spark大数据学习笔记_第3篇_Hive的安装1. 安装hive包2. 安装mysql3. 配置hive-site.xml4. 配置hive-env.sh和hive-config.sh5. 验证hive是否安装成功1. 安装hive包1、将课程提供的hive-0.13.1-cdh5.3.6.t...
    2018-09-06 17:42:47
    阅读量:172
    评论:0