2018-09-10 12:32:49 mys_mys 阅读数 710

10小时入门大数据(一)------大数据概述

1、环境参数
Linux—CentOS(6.4)
Hadoop—CDH(5.7)
开发工具:IDEA

2、大数据生态圈
Hadoop
spark

3、大数据背景
无处不在的大数据:科学数据、金融数据、物联网数据、交通数据、社交网络数据、零售数据等

4、大数据基本概念
4V特征:Volume、Variety、Value、Velocity

  • Volume:大量,既然叫大数据,那么数据量肯定得大
  • Variety:多样性,数据可以多种结构,可以是结构性数据、半结构性数据以及非结构性数据
  • Value:价值,这些大量的数据需要能够被挖掘出有价值的数据,因为无价值的数据只是一堆占用存储空间的垃圾
  • Velocity:高速,数据的处理速度要快,时效性强,因为很多场景下要实时更新、检测数据

5、大数据解决的问题
这里写图片描述
batch:分批处理
大数据是要用来从中挖掘有价值的数据的,如果数据不能给企业带来价值,不能给用户带来更好的体验,那么这些数据就是无用的。而从数据中挖掘价值就是大数据要解决的问题,这就好像淘金、挖矿一样,我们利用大数据技术从海量数据中挖掘有用的数据,剔除无用的数据

6、大数据涉及技术

  • 数据采集:将分散的数据都采集起来,集中在一起,才能够进行数据的分析
  • 数据存储:将大量的数据采集起来后,存储就是个问题,需要存储空间足够大
  • 数据处理、分析、挖掘:存储的问题解决后,才开始对这些数据进行处理,分析、挖掘有价值的数据出来
  • 可视化:挖掘出来的数据进行可视化、图形化后呈现给别人

7、挑战

  • 1)对现有数据库管理技术的挑战
    海量的数据想要存储到传统的关系型数据库是不太现实的,虽然数据库可以进行集群,但是基本上也不能处理TB级以上的数据分析的,所以现阶段无法使用结构化的查询及处理去解决这些问题
  • 2)经典数据库并没有考虑到数据的多类别
    关系型数据库的结构都是库 >> 表 >> 字段的关系结构,而大数据具有数据多样化的特征,所以不好存储
  • 3)实时性的技术挑战
    数据所产生的价值会随着时间的推移而降低,所以要让数据实时展现是个问题
  • 4)网络架构、数据中心、运维的挑战
    由于数据一直呈大幅增长的状态,而数据又要实时地呈现,这对网络传输上是一个挑战。而且数据量大,肯定得多台服务器进行存储,这就给数据中心以及运维带来一定的挑战
  • 数据隐私
  • 数据源复杂多样性

8、如何对大数据进行存储和分析
系统瓶颈:存储容量、读写速度、计算效率
Google大数据技术:MapReduce、Big Table GFS
谷歌三大论文地址:
中文版:
http://blog.bizcloudsoft.com/wp-content/uploads/Google-Bigtable中文版_1.0.pdf
http://blog.bizcloudsoft.com/wp-content/uploads/Google-File-System中文版_1.0.pdf
http://blog.bizcloudsoft.com/wp-content/uploads/Google-MapReduce中文版_1.0.pdf
英文版:
http://pan.baidu.com/s/1o6G8PGA(百度网盘下载)
9、如何学好大数据

  • 官网、官网、官网
  • 英文、英文、英文
  • 项目实战对知识点进行巩固和融会贯通
  • 社区活动
  • 切记:对动手、多练习、坚持
2016-06-19 14:43:26 cbgcfe 阅读数 1175
转载者:ppt素材下载             

搜索: 实现数据的录入与计算 ppt入门教程 如何让ppt与Excel工作表结合

  在PowerPoint中实现数据的实时录入和自动计算<小熊住山洞ppt课件/strong>?大多数老师在使用PowerPoint制作教学课件时,仅仅使用了PPT最简单的功能——逐页展示文字或图片。特别是数理化老师,对于PPT强大的功能还不是很了解。今天小编教大家,如何将PowerPoint演示文稿与Excel工作表结合起来,实现数据的录入和计算?这个时候只要将实验数据输入即可获得正确的计算结果,是不是很感兴趣?

PPT实现数据录入与计算图片

  1. 打开PowerPoint 2002,新建一张幻灯片,设置好背景。

  2. 点击“插入→对象”,在出现的选择页中选择新建“Microsoft Excel 工作表”,点击〔确定〕后即在幻灯片中出现Excel的工作界面(如图1),接下来就可以按Excel表格的使用方法进行表格的设计和公式的输入。

  3. 调节Excel工作表的边框,直到只露出我们需要的表格(如十行四列)为止,否则旁边多余的行和列将会使表格太小,影响观看。然后用鼠标在幻灯片上单击,退出工作表编辑状态,将鼠标放在表格边框的圆点上调节表格直到我们需要的大小。

  4. 双击表格再次进入Excel工作表的工作界面,对表格的背景、边框、字体的颜色进行设置(在Excel中通常都是用白色背景,这里应该考虑到与幻灯片背景的协调。

  以上就是PPT实现数据录入与计算的相关内容,希望对您有所帮助!本文选自http://www.2ppt.cn/Article/1914.html

2019-09-09 19:38:00 Julse 阅读数 21

厦门大学数据库实验室

平台介绍

http://dblab.xmu.edu.cn/post/bigdata-teaching-platform/
在这里插入图片描述

书籍资料

包括 配套习题,ppt电子档下载链接,还有 入门,进阶资料推荐等
http://dblab.xmu.edu.cn/post/4331/
在这里插入图片描述

在这里插入图片描述

http://dblab.xmu.edu.cn/post/5645/在这里插入图片描述

ppt: http://dblab.xmu.edu.cn/post/5645/
在这里插入图片描述

2018-08-05 22:18:22 qq_42700465 阅读数 128

mysql

  • 数据库概述

  • Mysql数据库概述

  • Mysql安装与卸载

  • Mysql基本命令

  • SQL入门

mysql常用命令

系统命令(以管理员身份运行)

#启动服务
net start mysql
#停止服务
net stop mysql
​
#进入mysql命令行
mysql -uroot -p123456
​
#退出mysql命令行
exit
​
#修改密码
mysqladmin -uroot -p123456 password root

Mysql常用命令

--显示数据库实例
show databases;
--创建数据
create database mydb;
--使用数据库实例
user mydb;
--显示实例中所有数据库表
show tables;

SQL语句

结构化查询语言,一门关系型数据中通用的操作语言,语法结构类似英语口语,sql语句通常划分为三类

  • DDLin

  • DML

  • DCL

DDL

创建表:

create table 表名称(

列名称 数据类型 [约束信息]

....

)

/*
    创建用户表,表中包含用户id,用户名,密码   
*/
create table tbuser(
    id int,
    username varchar(10),
    password varchar(20)
);
​
--查看表结构
desc tbuser;
​
--向表中新增level列是int类型
alter table tbuser add level int;
​
--修改表中列的(将level列的名称改变为dengji)
alter table tbuser change level dengji int;
​
--删除表
drop table tbuser;

DML语句

--向表中插入一条数据
insert into tbuser(username,password) values('softeem','123456');
​
--批量插入数据
insert into tbuser values(1,'rose','666'),(2,'jack','8888'),(3,'tom','999');
​
--蠕虫复制
insert into tbuser select * from tbuser;
​
--查询表中所有数据
select * from tbuser
​
--修改所有id为null的列为0
update tbuser set id=0 where id is null;
​
--修改多列数据
update tbuser set password='admin',username='admin' where id=1;
​
--删除id为0的所有数据
delete from tbuser where id=0;

更为严格的表创建

创建一个用户表,包含ID,用户名,密码;要求id不能重复,并且要求id列自动递增,要求密码有默认值123456?

  1. 主键约束

  2. 自动递增

  3. 列的默认值

约束

约束是维护数据完整型的一种操作,在数据库中维护数据完成性操作中包含以下解决方案:

  • 约束(contraint):最简单最容易实现的一种方式

  • 存储过程(procedure)

  • 触发器(trigger)

create table user(
id int primary key auto_increment,
username varchar(16) unique not null,
password varchar(16) default '123456'
);

 

约束主要包含五大类:

  1. 主键约束

  2. 外键约束

  3. 不为空约束

  4. 唯一约束

  5. 检查约束(mysql暂不支持)

--修改制定列设置列不为空
alter table user change username username varchar(16) not null;
​
--使用修改语句设置表的列为唯一列
alter table user add constraint uq_name unique(username);

外键约束

通过设置外键约束可以让当前一张表与另一张表产生约束关系,在执行更新操作是,会通过约束的关系保证数据的完整性(被设置外键的列必须关联另一张表的主键列)

--学生表
create table tbstu(
id int primary key auto_increment,
sname varchar(16) not null,
sex enum('1','0') default '1',
age int,
gid int
);
​
--分组表
create table tbgroup(
gid int primary key auto_increment,
gname varchar(32)
);
​
--修改约束
alter table tbstu add constraint foreign key fk_gid(gid) references tbgroup(gid);

大数据资料分享

阅读数 403

没有更多推荐了,返回首页