猜你喜欢
相关培训 相关博客
  • 数据结构学习笔记之②——线性表
    2016-08-11 23:39:24
    阅读量:126
    评论:0
  • 第一章 大数据概述1.1 大数据时代1.1.1 信息科技为大数据时代提供技术支持①存储设备容量不断増加——解决了信息存储的问题②CPU处理能力大幅提升——解决了信息处理的问题③网络带宽不断増加——解决了信息传输的问题1.1.2 数据产生方式的变革促成大数据时代的来临数据是我们通过观察、实验或计算得出的结果。数据和信息是两个不同的概念。信息是较为宏观的概念,它由数据的有序排列组合而成...
    2020-01-21 22:05:17
    阅读量:133
    评论:0
  • 数据结构学习笔记2·线性表线性表顺序表链表链表的基本操作插入元素删除元素查找元素修改元素顺序表和链表的优缺点静态链表静态链表介绍备用链表静态链表的基本操作添加元素删除元素查找元素修改元素线性表2019.3.13参考资料:数据结构与算法,解学武个人记录重要的笔记,非全原创,有copy部分。顺序表不小心删了 有空再补链表链表中每个数据的存储都由数据域和指针域组成,即一个节点;...
    2019-03-13 11:49:26
    阅读量:28
    评论:0
  • 1.数据的分类 ①非结构化数据:文本、多媒体 ②结构化数据:数据库、格式化文本 ③半结构化数据:key-value、xml、tag 2.DataFrame和RDD的区别 DataFrame是带Schema的RDD 创建DataFrame的方法:scala>val ssc = new org.apache.spark.sql.SQLContext(sc)scala>val df = ss
    2017-12-18 23:20:53
    阅读量:91
    评论:0
  • 1.Storage format 行存储:SEQUENCEFILE、TEXTFILE 列存储:RCFILE、ORC、PARQUET、AVRO 2.行存储VS列存储 行式存储: ①一行数据一定在一个block里 ②一行数据类型混杂,不容易获得很好的压缩比 ③不能支持快速查询列式存储: ①一行数据不一定在一个block里 ②查询时能够避免读取不必要的列 ③每一列存储数据类型相同,可以
    2017-12-13 21:29:03
    阅读量:605
    评论:0
  • MapReduce作业执行流程大致可分为以下几步:①提交作业,②初始化作业,③分配任务,④执行作业,⑤更新进度和状态,⑥完成。又或者可划分为:①输入分片(input  split),②Map阶段,③combiner阶段,④shuffle阶段,⑤reduce阶段。 提交作业主要有几个步骤:①调用JobTracker的getNewJobId()方法,获取作业ID。②检查作业相关路径...
    2018-09-09 20:35:29
    阅读量:556
    评论:0
  • mysql学习笔记1.简单语法①创建数据库:create database myschool;②查看所有数据库:show databases;③创建表:use myschool;(先要找到在哪个数据库下创建表)create table subject(subjectNO int primary key,subjectName varchar(50),classHour int,...
    2020-01-11 23:57:09
    阅读量:5
    评论:0
  • 数据结构第二章:chapter 1线性表线性存储引入:线性结构的定义:若结构是非空有限集,则有且仅有一个开始结点和一个终端结点,并且所有结点都最多只有一个直接前趋和一个直接后继。可表示为:(a1 , a2 , ……, an)线性结构表达式:(a1 , a2 , ……, an)线性结构的特点:① 只有一个首结点和尾结点;② 除首尾结点外,其他结点只有一个直接前...
    2019-10-27 16:34:25
    阅读量:27
    评论:0
  • 1.Hive的访问方式 ①Hive shell ②HiveServer&beeline ③HUE、Zepplin等WebUI的访问方式2.hiveserver2 ①启动: hiveserver2 ②使用beeline连接hive:beeline -u jdbc:hive2://hadoop000:10000/default -n hadoop 在运行的过程中我遇到了这样的问题,百度
    2017-12-15 17:58:38
    阅读量:539
    评论:0