2004-12-15 23:31:00 wufengpin 阅读数 1159
  • 全新大数据企业电商数据仓库项目实战教程

    本教程为授权出品 一、课程简介 数据仓库(Data Warehouse,可简写为DW或DWH),是面向分析的集成化数据环境,为企业决策制定过程,提供系统数据支持的战略集合,是国内外各大公司正在重点投入的战略级技术领域。 二、课程内容 《大数据电商数仓项目实战》视频教程,从项目架构的搭建,到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现,我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍,Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等,CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置,透彻了解不同版本框架的区别联系,将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解,对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识,让你在掌握实战经验的同时能够打下坚实的理论基础。 三、课程目标 本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:每日、周、月活跃设备明细,留存用户比例,沉默用户、回流用户、流失用户统计,最近连续3周活跃用户统计,最近7天内连续3天活跃用户统计,GMV成交总额分析,转化率及漏斗分析,品牌复购率分析、订单表拉链表的设计等,让学生拥有更直观全面的实战经验。通过对本课程的学习,对数仓项目可以建立起清晰明确的概念,系统全面的掌握各项数仓项目技术,轻松应对各种数仓难题。 四、课程亮点 本课程结合国内多家企业实际项目经验,特别加入了项目架构模块,从集群规模的确定到框架版本选型以及服务器选型,手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题,针对各个技术框架,均有调优实战经验,具体包括:常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习,助学生迅速成长,获取前沿技术经验,从容解决实战问题。

    433 人正在学习 去看看 张长志

在上一篇文章中,我们讨论了在Linux上非常流行的MySQL数据库服务器的使用方法。在这篇文章中,我们将关注另一个选择,名为PostgreSQL的开放源码数据库。尽管MySQL是一个快速,强大和相当简单的关系型数据库管理系统,但PostgreSQL更加具有综合性,并为这种复杂性牺牲了一些速度。

如果你已经习惯于使用包含各种图标和快捷方式的界面,那么PostgreSQL非常适合你,尽管MySQL的4版本也提供类似的功能。为了在这篇文章中能够向你清楚的说明怎样建立PostgreSQL,我使用以下版本的软件: Red Hat Linux 7.1 PostgreSQL 7.1.3

准备安装

在开始之前,你需要获得这些软件。你可以下载最新的7.1.3版本。将PostgreSQL这个源码程序下载下来之后,应该把它放在Linux服务器的/usr/local目录下。如果你把它放在其他地方,请注明并修改相应的路径指示。

PostgreSQL并不以根权限运行。这源于开发者的安全设计思想。因此,你需要一个用户账号来建立运行PostgreSQL进程。在这篇文章中我们使用postgres这个用户,同时还将创建一个名为postgres的组。

当然,如果想创建这些账号,你需要以超级用户的身份登录(通常是根权限)。为了在Linux服务器上创建这个postgres用户组,我将在命令行中执行groupadd postgres。下一步,创建用户并加入这个组,命令为useradd postgres –g postgres。

在正式开始安装PostgreSQL之前,我们还需要做两件事情。首先,我们将自己来创建将要用到的目录并在postgres用户中指定所有者。这样就可以避免权限不清所带来的问题。

首先,创建两个目录: mkdir /usr/local/pgsql mkdir /usr/local/postgresql-7.1.3

然后,指定这两个目录在早先创建的postgres用户中的所有者: chown postgres.postgres /usr/local/pgsql chown postgres.postgres /usr/local/postgresql-7.1.3

现在让我们将这个版本解压以便可以安装它。首先,用su postgres命令改变postgres用户。然后,用cd /usr/local命令转到/usr/local目录下并用下列命令将下载的文件解压: gunzip –dc postgresql-7.1.3.tar.gz | tar xvf

当列表中的文件解压完成之后,你就会回到命令提示符下,使用cd /usr/local/postgres-7.1.3命令转到相应目录下。

完成之后,就可以开始了

像其他开放源码的程序一样,安装过程的第一步就是安装配置中指定你的操作环境,包括所希望的程序安装路径和特定性能的有效/无效。

为了实现安装的意图,我们要确信软件安装在了/usr/local/pgsql目录下,这是我们先前创建的目录。为了完成这一步,我们使用命令: ./configure --prefix=/usr/local/pgsql

下一步是用先前提供的选项来编译源程序。用命令行实现这一点。完成之后,你可以通过键入安装时的命令来安装二进制文件。

稍等,还有更多的

在你开始启动数据库之前,PostgreSQL也有一些环境变量需要设置,你应该让PostgreSQL知道在哪儿可以找到它的数据文件,共享库,应用程序文件,和操作记录
。在我的RedHat Linux 7.1服务器上,我喜欢通过修改/home/postgres目录下的.bash_profile文件来实现这一点。由于这个文件是在登录时被查看,所以可以在环境中为postgres用户添加合适的变量。使用你最喜欢的文本编辑器来完成以下的步骤(我用的是pico)。

用下面的命令打开并编辑.bash_profile文件: pico /home/postgres/.bash_profile

然后,在文件中用户名一行前添加下列行: PGLIB=/usr/local/pgsql/lib PGDATA=/usr/local/pgsql/data PATH=$PATH:/usr/local/pgsql/bin MANPATH=$MANPATH:/usr/local/pgsql/man export PGLIB PGDATA PATH MANPATH

保存文件并用下面的命令创建目录/usr/local/pgsql/pgdata: mkdir /usr/local/pgsql/data

如果postgres用户对整个/usr/local/pgsql目录拥有完全权限的话,你就无需使用根用户。这个目录将存储所有你的数据库文件。

启动你的(数据库)引擎

在可以正式启动数据库引擎之前,你需要通过一个初始化命令对不同的PostgreSQL数据库进行初始化。如果想实现这个初始化,使用命令cd /usr/local/pgsql/bin并且键入./initdb,然后按[Enter]。你将得到许多状态信息然后回到命令行提示符下。

在这时,你可以用以下命令开启Postgres postmaster: /usr/local/pgsql/bin/postmaster –i -D /usr/local/pgsql/data &

这将启动PostgreSQL并在/usr/local/pgsql/data目录下运行数据库,可以从互联网上对数据库进行连接(通过参数-i),可以运行于后台(通过参数 &)。你的数据库引擎已经启动并开始准备接受数据。

创建数据库

在这个例子中,我们将创建一个名为mydb的数据库和一个名为mytable的表格,这样可以让你确信一切都正常工作。首先,在命令行中键入createdb mydb。如果PostgreSQL回复CREATED DATABASE,说明已经接受了命令。现在,我们使用psql工具与这个数据库共同工作。键入psql mydb并按[Enter]。这将带你进入PostgreSQL的交互式模式。

如果想在mydb数据库中创建mytable表格,可以按照以下的步骤。请记住这并不是一个真实的表格,只是一个样本罢了: CREATE TABLE mytable ( id varchar(20), name varchar(30));

一旦你完成这些,你将看到一个CREATED信息,说明表格已经创建。现在我们可以在表格中插入一个记录,查看内容,然后退出psql工具: INSERT INTO mytable values (作家, Scott Lowe);

现在psql将答复INSERT 18732 1。如果想查看这个表格的内容,键入: SELECT “* FROM MYTABLE;”

你将看到以下的结果:
身份 | 姓名
--------+------------
作家 | Scott Lowe
如果要退出psql工具,键入q并按[Enter]。

总结

这让我们大致了解了在RedHat Linux上PostgreSQL 7.1.3数据库的基本安装过程。我认为你将看到PostgreSQL是一个功能强大的数据库,以其高级的性能完全有能力顺利地运行于多种环境之中。

如果你在安装PostgreSQL时遇到任何问题,我建议你仔细阅读在PostgreSQL的Web站点中的文档。(翻译:智德;责任编辑:刘燕之)

TechRepublic是一个专为各类IT专业人士设立的在线社区以及资源中心,我们提供有深度的技术文章,这些文章由IT专家写成,面对IT专家读者。除了提供从Windows到e-mail到防火墙等各种文章以外,我们还提供IT业界分析,下载,管理要点,讨论组以及新闻邮件服务。
(作者:Scott Lowe MCSE)

2017-04-30 16:34:36 u010924288 阅读数 458
  • 全新大数据企业电商数据仓库项目实战教程

    本教程为授权出品 一、课程简介 数据仓库(Data Warehouse,可简写为DW或DWH),是面向分析的集成化数据环境,为企业决策制定过程,提供系统数据支持的战略集合,是国内外各大公司正在重点投入的战略级技术领域。 二、课程内容 《大数据电商数仓项目实战》视频教程,从项目架构的搭建,到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现,我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍,Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等,CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置,透彻了解不同版本框架的区别联系,将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解,对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识,让你在掌握实战经验的同时能够打下坚实的理论基础。 三、课程目标 本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:每日、周、月活跃设备明细,留存用户比例,沉默用户、回流用户、流失用户统计,最近连续3周活跃用户统计,最近7天内连续3天活跃用户统计,GMV成交总额分析,转化率及漏斗分析,品牌复购率分析、订单表拉链表的设计等,让学生拥有更直观全面的实战经验。通过对本课程的学习,对数仓项目可以建立起清晰明确的概念,系统全面的掌握各项数仓项目技术,轻松应对各种数仓难题。 四、课程亮点 本课程结合国内多家企业实际项目经验,特别加入了项目架构模块,从集群规模的确定到框架版本选型以及服务器选型,手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题,针对各个技术框架,均有调优实战经验,具体包括:常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习,助学生迅速成长,获取前沿技术经验,从容解决实战问题。

    433 人正在学习 去看看 张长志

linux mysql导入数据库



1、首先建空数据库


mysql>create database abc;


 


2、导入数据库


方法一: 


(1)选择数据库


mysql>use abc;


(2)设置数据库编码


mysql>set names utf8;


(3)导入数据(注意sql文件的路径)


mysql>source /home/abc/abc.sql;



2019-11-26 16:37:51 weixin_45038020 阅读数 34
  • 全新大数据企业电商数据仓库项目实战教程

    本教程为授权出品 一、课程简介 数据仓库(Data Warehouse,可简写为DW或DWH),是面向分析的集成化数据环境,为企业决策制定过程,提供系统数据支持的战略集合,是国内外各大公司正在重点投入的战略级技术领域。 二、课程内容 《大数据电商数仓项目实战》视频教程,从项目架构的搭建,到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现,我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍,Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等,CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置,透彻了解不同版本框架的区别联系,将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解,对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识,让你在掌握实战经验的同时能够打下坚实的理论基础。 三、课程目标 本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:每日、周、月活跃设备明细,留存用户比例,沉默用户、回流用户、流失用户统计,最近连续3周活跃用户统计,最近7天内连续3天活跃用户统计,GMV成交总额分析,转化率及漏斗分析,品牌复购率分析、订单表拉链表的设计等,让学生拥有更直观全面的实战经验。通过对本课程的学习,对数仓项目可以建立起清晰明确的概念,系统全面的掌握各项数仓项目技术,轻松应对各种数仓难题。 四、课程亮点 本课程结合国内多家企业实际项目经验,特别加入了项目架构模块,从集群规模的确定到框架版本选型以及服务器选型,手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题,针对各个技术框架,均有调优实战经验,具体包括:常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习,助学生迅速成长,获取前沿技术经验,从容解决实战问题。

    433 人正在学习 去看看 张长志

Linux里学习使用MariaDB数据库管理系统

本文根据《linux就该这么学》一书学习整理。

数据库管理系统是一种能够对数据库中存放的数据进行建立、修改、删除、查找、维护等操作的软件程序。MariaDB数据库和MySQL是一家的,区别为MariaDB是开源的。

初始化mariaDB服务

命令mysql_secure_installation
➢直接按回车键
➢ 设置 root 管理员在数据库中的专有密码。输入密码
➢ 随后删除匿名账户,并使用 root 管理员从远程登录数据库,以确保数据库上运行的业
务的安全性。Remove anonymous users?y .disallow root login remotely?y(禁止root管理员从远程登录)
➢ 删除默认的测试数据库,取消测试数据库的一系列访问权限。y
➢ 刷新授权列表,让初始化的设定立即生效。Y

登录数据库:mysql –u root –p。-u 参数用来指定以root管理员的身份登录,而-p参数用来验证用户在数据库中的密码值。
数据库命令默认大写。执行数据库命令时,都需要在命令后面用分号(;)结尾。
查看数据库管理系统中当前都有哪些数据库:SHOW databases; 。
修改root管理员在数据库管理系统中的密码值:SET password = PASSWORD(‘linuxprobe’); .

创建数据库与表单

创建一个数据库:CREATE DATABSES chloe; (数据库名称)
切换到这个数据库:use chloe;
创建表单mybook: CREATE TABLE mybook(name char(15),price int,page int); 。这个表单有三个字段项,name图书名称(字符型字段,长度为15个字段),price价格(整型),page页数(整型)。
查看表单结构:DESCRIBE mybook;

管理表单及数据

使用 INSERT 命令向 mybook 数据表单中插一条图书信息,其中书名为 linuxprobe,价格和页数分别是 60 元和 518 页。
INSERT INTO mybook(name,price,page) VALUES(‘Linuxprobe’,‘60’,‘518’);
输入这个命令后出现ERROR 1136(21S01): Column count doesn’t match value count at row 1.
上网查原因是插入时的数据个数与表中的字段个数不一致,试着将mybook后面括号里的内容删除,INSERT INTO mybook VALUES(‘Linuxprobe’,‘60’,‘518) ;,可以输入没有报错。
使用 select 命令和通配符(*)查看表单中的所有内容:**SELECT *FROM mybook;**可以看到数据已经写入。
修改数据,将刚才插入的 linuxprobe 图书信息的价格修改为 55 元:UPDATE mybook SET price=55;注意,若有多项数据,这条命令会将所有书籍的价格改为55.如果想要更改某一项也可以使用WHERE条件,UPDATE mybook SET price=20 WHERE name=‘linuxprobe’;.
删除数据表单mybook中的所有内容:DELETE FROM mybook.
条件查询:查询价格大于某个数值的图书,需要结合使用 select 与 where 命令。其中,where 命令是在数据库中进行匹配查询的条件命令。!=不相等,>=大于或等于,BETWEEN在某个范围内,LIKE 搜索一个例子,IN在列中搜索多个值。查找价格大于75元的图书:SELECT * FROM mybook WHERE price>75;
实际工作中也许会用到数据库管理工具,如navicat,可以图形化管理更改数据。

数据库的备份及恢复

mysqldump 命令用于备份数据库数据,格式为“mysqldump [参数] [数据库名称]”。其中参数与 mysql 命令大致相同,-u 参数用于定义登录数据库的账户名称,-p 参数代表密码提示符。
将 linuxprobe 数据库中的内容导出成一个文件,并保存到 root 管理员的家目录中:mysqldump -u root -p linuxprobe > /root/linuxprobeDB.dump。
在删除数据库后可以使用输入重定向符把刚刚备份的数据库文件导回。mysql -u root -p linuxprobe < /root/linuxprobeDB.dump。

2018-05-31 11:23:25 yyyxxxs 阅读数 853
  • 全新大数据企业电商数据仓库项目实战教程

    本教程为授权出品 一、课程简介 数据仓库(Data Warehouse,可简写为DW或DWH),是面向分析的集成化数据环境,为企业决策制定过程,提供系统数据支持的战略集合,是国内外各大公司正在重点投入的战略级技术领域。 二、课程内容 《大数据电商数仓项目实战》视频教程,从项目架构的搭建,到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现,我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍,Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等,CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置,透彻了解不同版本框架的区别联系,将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解,对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识,让你在掌握实战经验的同时能够打下坚实的理论基础。 三、课程目标 本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:每日、周、月活跃设备明细,留存用户比例,沉默用户、回流用户、流失用户统计,最近连续3周活跃用户统计,最近7天内连续3天活跃用户统计,GMV成交总额分析,转化率及漏斗分析,品牌复购率分析、订单表拉链表的设计等,让学生拥有更直观全面的实战经验。通过对本课程的学习,对数仓项目可以建立起清晰明确的概念,系统全面的掌握各项数仓项目技术,轻松应对各种数仓难题。 四、课程亮点 本课程结合国内多家企业实际项目经验,特别加入了项目架构模块,从集群规模的确定到框架版本选型以及服务器选型,手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题,针对各个技术框架,均有调优实战经验,具体包括:常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习,助学生迅速成长,获取前沿技术经验,从容解决实战问题。

    433 人正在学习 去看看 张长志

#数据库
按照数据结构来组织、存储和管理数据的建立里在计算机存储设备上的仓库。
简单理解就是,许多表格放在一起,组成一个库,库放在一起组成一个数据库,mysql目前应用最广泛,mariadb是其中一个分支。
1、数据库的安装和安全初始化设置

[root@localhost yum.repos.d]# yum install mariadb-server -y
[root@localhost yum.repos.d]# systemctl start mariadb
[root@localhost yum.repos.d]# mysql #默认可以直接登陆,不安全
[root@localhost yum.repos.d]# netstat -antlpe | grep mysql *#可以看到默认端口,表示数据库安装后默认裸露在互联网上
[root@localhost yum.repos.d]# vim /etc/my.cnf #编辑配置文件
skip-networking=1 #跳过数据库在网络上开启端口的功能
[root@localhost yum.repos.d]# systemctl restart mariadb
[root@localhost yum.repos.d]# netstat -antlpe | grep mysql #无开启端口
[root@localhost yum.repos.d]# mysql_secure_installation #安全初始化脚本
添加密码
关闭匿名用户登陆
关闭超级用户远程登陆
删除测试数据库和访问
重新加载权限列表
[root@localhost yum.repos.d]# mysql -uroot -p #登陆数据库,输入密码,进入

这里写图片描述
2、数据库的查询

MariaDB [(none)]> SHOW DATABASES; #查询数据库里有什么库
MariaDB [(none)]> USE mysql; #使用mysql库
MariaDB [mysql]> SHOW tables; #查询库里有什么表格

这里写图片描述

MariaDB [mysql]> SELECT * FROM user; #查询user表的所有内容
MariaDB [mysql]> SELECT User,Host,Password FROM user; #查询user表里的User字段、Host字段和Password字段
MariaDB [mysql]> SELECT User,Host,Password FROM user Where User='root' AND Host='localhost';
# Where 跟查询的条件,条件要用‘’,查询user表里User=root且Host=localhost的User字段、Host字段和Password字段
MariaDB [mysql]> DESCRIBE user; #查询表的数据结构,也可写成DESC user

这里写图片描述
3、数据库的创建、插入

MariaDB [(none)]> CREATE DATABASE linux; #创建linux库
MariaDB [(none)]> USE linux; #使用linux库
MariaDB [linux]> SHOW tables; #查看linux库里有什么表格
MariaDB [linux]> CREATE TABLE yee(
-> username varchar(6) not null,
-> password varchar(50) not null); #linux库里创建yee表格,varchar表示可变长字符
MariaDB [linux]> DESC yee; #查询yee表的结构
MariaDB [linux]> INSERT INTO yee values ('tom',123); #yee表里插入内容,username为tom,password为123
MariaDB [linux]> SELECT * FROM yee; #查看yee表里的内容

这里写图片描述

4、数据库信息的修改
(1)库名的修改

[root@localhost yum.repos.d]# cd /var/lib/mysql/ #默认路径
[root@localhost mysql]# ls #可以查看到建立的库linux
[root@localhost mysql]# mv linux/ westos #修改库名linux为westos
[root@localhost mysql]# systemctl restart mariadb #重启数据库

但是,一般情况下,库的名字不建议修改,修改后可能会出错!
(2)表名的修改

MariaDB [linux]> ALTER TABLE yee RENAME hahaha; #修改表的名字

(3)表字段的添加与删除

MariaDB [linux]> ALTER TABLE hahaha ADD age varchar(10); #添加表的字段,默认添加在最后
MariaDB [linux]> ALTER TABLE hahaha DROP age; #删除某个字段
MariaDB [linux]> ALTER TABLE hahaha ADD age varchar(10) AFTER username; #添加字段到某个位置,不能加到最前面,有错乱的可能

这里写图片描述

这里写图片描述
(4)表内容的修改与删除

MariaDB [linux]> UPDATE hahaha SET username='jerry' WHERE username='tom'; #修改表的内容
MariaDB [linux]> DELETE FROM hahaha WHERE username='jerry'; #删除表的内容

这里写图片描述

(5)表和库的删除

MariaDB [linux]> DROP TABLE hahaha; #删除表
MariaDB [linux]> DROP DATABASE linux; #删除库

这里写图片描述
5、网页模式管理数据库

[root@localhost mysql]# yum install php httpd -y #下载php和httpd
[root@localhost mysql]# yum search php #搜索支持php的相关软件
[root@localhost mysql]# yum install php-mysql.x86_64 -y
[root@localhost mysql]# systemctl start httpd #开启htpp服务
[root@localhost mysql]# systemctl stop firewalld
[root@localhost mysql]# cd /var/www/html/
[root@localhost html]# ls
phpMyAdmin-3.4.0-all-languages.tar.bz2
[root@localhost html]# tar jxf phpMyAdmin-3.4.0-all-languages.tar.bz2 #解压缩
[root@localhost html]# ls
phpMyAdmin-3.4.0-all-languages phpMyAdmin-3.4.0-all-languages.tar.bz2
[root@localhost html]# rm -fr phpMyAdmin-3.4.0-all-languages.tar.bz2 #删除压缩包,节省空间
[root@localhost html]# mv phpMyAdmin-3.4.0-all-languages/ mysqladmin #重命名为mysqladmin
[root@localhost html]# ls
[root@localhost html]# cd mysqladmin/
[root@localhost mysqladmin]# cp config.sample.inc.php config.inc.php #复制生成config.inc.php文件

浏览器:172.25.254.167/mysqladmin,登陆进入网页模式,可以在网页模式对数据库进行管理
这里写图片描述
这里写图片描述
6、用户建立、授权和删除

MariaDB [(none)]> CREATE USER myself@localhost identified by '123'; #创建用户myself,by后跟密码,@‘localhost’只能在本机登陆;@‘%’可以远程登陆
MariaDB [(none)]> SHOW GRANTS FOR myself@localhost; #查看用户授权

这里写图片描述

MariaDB [(none)]> GRANT SELECT on linux.* to myself@localhost; #用户查看授权,myself用户登陆可以查看库、表

这里写图片描述
授权后测试,可以看到库,但不能进行修改、删除等操纵
这里写图片描述

更新、插入及删除授权
MariaDB [(none)]> GRANT UPDATE on linux.* to myself@localhost; #用户更新授权,myself用户在linux库里可以对表中内容进行修改,不能添加
MariaDB [(none)]> GRANT INSERT on linux.* to myself@localhost;  #插入授权,授权后用户可插入新内容
MariaDB [(none)]> GRANT DELETE on linux.* to myself@localhost; #删除授权

撤销授权、删除用户

MariaDB [(none)]> FLUSH PRIVILEGES; #重载授权表
MariaDB [linux]> REVOKE UPDATE on linux.* from myself@localhost; #撤销用户更新授权
MariaDB [linux]> DROP USER myself@localhost; #删除用户

7、数据库密码恢复

[root@localhost Desktop]# systemctl stop mariadb #关闭服务
[root@localhost Desktop]# mysqld_safe --skip-grant-tables & #跳过授权表,将进程打入后台
[root@localhost Desktop]# mysql #直接进入mysql环境
MariaDB [mysql]> SELECT * FROM user; #查看user表
MariaDB [mysql]> UPDATE mysql.user set Password=password('1234') WHERE User='root'; #修改root密码为1234,password('1234')表示使用password加密,否则密码会是明文形式保存
MariaDB [mysql]> SELECT * FROM user; #查看密码是否修改
MariaDB [mysql]> quit #退出
[root@localhost Desktop]# fg #将进程调回前台
[root@localhost Desktop]# killall -9 mysqld_safe #结束进程
[root@localhost Desktop]# ps aux | grep mysql
[root@localhost Desktop]# kill -9 pid #结束其他进程
[root@localhost Desktop]# systemctl start mariadb #打开服务
[root@localhost Desktop]# mysql -uroot -p1234 #密码修改成功

‘ SELECT * FROM user; ’查看,加密字符不同,表示密码已经修改
这里写图片描述
这里写图片描述

数据库密码修改
[root@localhost Desktop]# mysql -uroot -p1234 -e "SHOW DATABASES;" #-e 可以直接执行命令
[root@localhost Desktop]# mysqladmin -uroot -p1234 password '123' #修改超级用户密码
[root@localhost Desktop]# mysql -uroot -p123 #测试,登陆成功

8、数据库的备份

[root@localhost Desktop]# mysqldump -uroot -p123 --all-database #备份所有库
[root@localhost Desktop]# mysqldump -uroot -p123 --all-database --no-data #备份框架,不备份数据

备份及恢复方法一;

[root@localhost Desktop]# mysqldump -uroot -p123 linux > /mnt/linux.sql #备份linux库,保存到/mnt/linux.sql
[root@localhost Desktop]# mysql -uroot -p123 -e "show databases;"
[root@localhost Desktop]# mysql -uroot -p123 -e "drop database linux;" #删除linux库
[root@localhost Desktop]# ls /mnt #备份成功
[root@localhost Desktop]# mysql -uroot -p123 linux < /mnt/linux.sql #恢复时显示失败,因为linux库已经不存在了
ERROR 1049 (42000): Unknown database 'linux'
[root@localhost Desktop]# vim /mnt/linux.sql #编辑文件创建库,使用该库
CREATE DATABASE linux;
USE linux;
[root@localhost Desktop]# mysql -uroot -p123 < /mnt/linux.sql #将备份文件导入库

这里写图片描述

备份及恢复方法二:

[root@localhost Desktop]# mysql -uroot -p123 -e"CREATE DATABASE linux;" #先创建linux库
[root@localhost Desktop]# mysql -uroot -p123 linux< /mnt/linux.sql #将备份文件导入linux库
2018-01-19 10:43:11 mitishall 阅读数 775
  • 全新大数据企业电商数据仓库项目实战教程

    本教程为授权出品 一、课程简介 数据仓库(Data Warehouse,可简写为DW或DWH),是面向分析的集成化数据环境,为企业决策制定过程,提供系统数据支持的战略集合,是国内外各大公司正在重点投入的战略级技术领域。 二、课程内容 《大数据电商数仓项目实战》视频教程,从项目架构的搭建,到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现,我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍,Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等,CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置,透彻了解不同版本框架的区别联系,将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解,对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识,让你在掌握实战经验的同时能够打下坚实的理论基础。 三、课程目标 本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:每日、周、月活跃设备明细,留存用户比例,沉默用户、回流用户、流失用户统计,最近连续3周活跃用户统计,最近7天内连续3天活跃用户统计,GMV成交总额分析,转化率及漏斗分析,品牌复购率分析、订单表拉链表的设计等,让学生拥有更直观全面的实战经验。通过对本课程的学习,对数仓项目可以建立起清晰明确的概念,系统全面的掌握各项数仓项目技术,轻松应对各种数仓难题。 四、课程亮点 本课程结合国内多家企业实际项目经验,特别加入了项目架构模块,从集群规模的确定到框架版本选型以及服务器选型,手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题,针对各个技术框架,均有调优实战经验,具体包括:常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习,助学生迅速成长,获取前沿技术经验,从容解决实战问题。

    433 人正在学习 去看看 张长志

LinuxMySQL数据库主从同步配置

.配置mysql主数据库#172.30.65.122

mysql -u root-p#进入控制台

create databasecesudb#建立数据库测速db

insert intomysql.user(Host,User,Password)values('localhost','cesuuser',password('123456'));#创建用户cesuuser,密码是123456

grant all oncesudb.* to 'cesuuser'@'172.30.65.169' identified by '123456' with grantoption;#授予cesuuser的用户在nagios服务器172.30.65.169的机器上对cesudb的完全访问权限。

insert intomysql.user(Host,User,Password)values('localhost','cesudbbak',password('123456'));#创建mysql数据库主从同步用户cesudbbak,用户密码是123456

grantreplication slave on *.* to 'cesudbbak'@'172.30.65.124' identified by '123456'with grant option;#授权cesudbbak用户正能在172.30.65.124的机器上访问主数据库并只有备份的权限。

flushprivileges;#刷新系统授权表

.Mysql主服务器172.30.65.122上的数据库 cesudb导入到Mysql从服务器172.30.65.124

注意:在到处前可在控制台执行以下的命令

flush tableswith read lock;#数据库只读锁定命令,防止到处数据库的时候有数据写入。

导出数据库cesudb

mysqldump -uroot -p --default-character-set=utf8 --opt -Q -R --skip-lock-tables cesudb >/home/cesudbbak.sql#需要在主数据库服务器的shell>下操作,把数据库cesudb导出到/home目录下并重新命名为cesudbbak.sql

unlock tables;#解除锁定,在mysql控制台执行

scpcesudbbak.sql root@172.30.65.124:/home#/home目录下把该文件传到从数据库172.30.65.124/home目录下。

2.进入从数据库#172.30.65.124
mysql -uroot -p

create databasecesudb;#建立数据库cesudb

use cesudb;使用数据库cesudb

source/home/cesudbbak.sql#导入备份文件到数据库

mysql -ucesudbbak -h 172.30.65.122 -p#测试在从数据库服务器172.30.65.124上登陆数据库主服务器172.30.65.122。该命令的执行要在shell>下面。

.配置主数据库服务器172.30.65.122my.cnf文件。

vim /etc/my.cnf#这里的本机的mysqlyum安装的,如果你是编译安装的需另行找到主配置文件并修改。
把该目录下的文件改为以下就可以了。
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
server-id=1#
需添加的行,该行制定为1表示主服务器
log-bin=mysql-bin#
需添加的行,启动mysql二进制日志系统
binlog-do-db=cesudb#
需添加的行,需要同步的数据库名,如有多个数据库可以重复添加此行
binlog-ignore-db=mysql#
需添加的行,不同步mysql系统数据库
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

service mysqldrestart#重启mysql服务

mysql -u root-p#进入mysql控制台

show variableslike 'server_id';#查看server_id的值是否为1
mysql> show variables like 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id    | 1    |
+---------------+-------+
1 row in set (0.00 sec)

show masterstatus#查看主服务器信息,出现以下类似的信息

mysql> showmaster status;
+------------------+----------+--------------+------------------+
| File            | Position | Binlog_Do_DB |Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000006 |      106 | cesudb      |mysql            |
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

注意:这里记住上面的FilePosition的值,后面还会用到。

.配置从数据库的my.cnf文件#172.30.65.124

vim /etc/my.cnf
修改为以下内容即可,该机器上的从数据库也是yum安装的,如自己机器上的数据库是编译安装的可以另行制定配置文件位置
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
server-id=2#
需添加的行,设置其值等于2,表示是从数据库
log-bin=mysql-bin#
启动mysql二进制日志系统
replicate-do-db=cesudb#
需要同步的数据库名,如果有多个数据库可以重复此参数,每个数据库一行
replicate-ignore-db=mysql#
不同步mysql系统数据库
read_only#
设置数据库只读
#bind-address=172.30.65.124
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

service mysqldrestart#重启数据库

mysql -u root-p#进入mysql控制台

show variableslike 'server_id';#看到id2,表示正常
mysql> show variables like 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id    | 2    |
+---------------+-------+
1 row in set (0.00 sec)

 slavestop;#停止slave同步进程

change master tomaster_host='172.30.65.122',master_user='cesudbbak',master_password='123456',master_log_file='mysql-bin.000006',master_log_pos=106;#执行同步语句,master_log_filemaster_log_pos就是上面提到的那连个值
mysql> change master tomaster_host='172.30.65.122',master_user='cesudbbak',master_password='123456',master_log_file='mysql-bin.000006',master_log_pos=106;
Query OK, 0 rows affected (0.02 sec)

slave start;#开启slave同步进程

SHOW SLAVESTATUS\G#查看同步信息,会出现以下的同步信息
mysql> SHOW SLAVE STATUS\G
*************************** 1. row ***************************
              Slave_IO_State: Waiting formaster to send event
                  Master_Host:172.30.65.122
                  Master_User:cesudbbak
                  Master_Port:3306
                Connect_Retry: 60
              Master_Log_File:mysql-bin.000006
          Read_Master_Log_Pos: 106
              Relay_Log_File:mysqld-relay-bin.000002
                Relay_Log_Pos: 251
        Relay_Master_Log_File: mysql-bin.000006
            
Slave_IO_Running: Yes
           Slave_SQL_Running: Yes
              Replicate_Do_DB: cesudb
          Replicate_Ignore_DB: mysql
          Replicate_Do_Table: 
      Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                  Last_Errno: 0
                 Last_Error: 
                Skip_Counter: 0
          Exec_Master_Log_Pos: 106
              Relay_Log_Space: 407
              Until_Condition: None
              Until_Log_File: 
                Until_Log_Pos: 0
          Master_SSL_Allowed: No
          Master_SSL_CA_File: 
          Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
              Master_SSL_Key: 
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
              Last_SQL_Errno: 0
              Last_SQL_Error: 
1 row in set (0.00 sec)
注意出现红色字体的部分,以上的连个参数出现yes代表配置成功。

.测试主从配置

1.在主数据库上建立一个表student#172.30.65.122
mysql -u root -p

use cesudb;

create table...#建一个测试表
mysql> create table student (
    -> id int,
    -> name char(10),
    -> sex char(2));
Query OK, 0 rows affected (0.02 sec)
mysql> show tables;
+------------------+
| Tables_in_cesudb |
+------------------+
| student          |
+------------------+
1 row in set (0.00 sec)

2.登录从数据库查看该表#172.30.65.124

mysql> usecesudb
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> show tables;
+------------------+
| Tables_in_cesudb |
+------------------+
| student          |
+------------------+
1 row in set (0.00 sec)

已经自动同步过来,说明同步成功。

linux下建立mysql数据库备份脚本

博文 来自: u013030601
没有更多推荐了,返回首页