精华内容
下载资源
问答
  • 关系型数据库的理解
    千次阅读
    2022-03-06 08:19:46

    1.关系型数据库

    1.1 概念

      关系型数据库是指采用了关系模型来组织数据的数据库。简单来说,关系模式就是二维表格模型。
      主要代表SQL server,Oracle,Mysql

    1.2 优点

      1.容易理解,二维表的结构非常贴近现实世界
      2.使用方便,使用sql语句使得操作关系型数据库非常方便
      3.易于维护,数据库的ACID属性,大大降低了数据的冗余和数据不一致的问题

    1.3 瓶颈

      1.海量数据的读写效率
      对于网站的并发量高,往往达到每秒上万次的请求,对于传统关系型数据库来说,硬盘IO是一个很大的挑战
      2.高扩展性和高可用性
      在基于web的结构中,数据库是最难以横向拓展的,当一个应用系统的用户量和访问量与日俱增的时候,数据库没有办法像web server那样简单的通过添加更多的硬件和服务结点来拓展性能和负载能力。

    2.从关系型到非关系型

      关系型数据库的最大优点就是事务的一致性,这个特性,是的关系数据库可以适用于一切要求一致性比较高的系统中。比如银行系统

      但是在网页应用中,对这种一致性的要求不是那么严格,允许有一定的时间间隔,所以非关系型数据库这个特点不是那么重要了。相反,关系型数据库为了维护一致性所付出的巨大代价就是读写性能较差。而像微博、facebook这类应用,对于并发读写能力要求极高,关系型数据库已经无法应付。所以必须用一种新的数据结构存储来代替关系型数据库。所以非关系型数据库出现了。

    3.非关系型数据库

    3.1概念

      NoSQL非关系型数据库,主要是指那些非关系的、分布式的,且一般不保证ACID的数据存储系统,主要代表MongoDB,Redis、CounchDB。
      NoSQL提出了另一种理念,以键值来存储,且结构不稳定,每一个元组都可以有不一样的字段,这种就不会局限于固定的结构,可以减少一些时间和空间的开销。使用这种方式,为了获取用户的不同信息,不需要像关系型数据中,需要进行多表查询。仅仅需要根据key来取出相应的value值即可。

    3.2分类

      非关系型数据库大部分是开源的,实现比较简单,大都是针对一些特性的应用需求出现。根据结构化方法和应用场景的不同,分为一下几类。
      1.面向高性能并发读写的key-value数据库
      主要特点是具有极高的并发读写能里,例如Redis,Tokyo Cabint等
      2.面向海量数据访问的面向文档数据库
      特点是,可以在海量的数据库快速查询数据。例如MongoDb以及CouchDB
      3.面向可拓展的分布式数据库
      解决的主要问题是传统数据库的扩展性上的缺陷

    3.3 缺点

    由于NoSQL的约束少,所以不能够像sql哪样提供where字段属性的查询。因此适合存储较为简单的数据。

    4.对比

    4.1 存储上

      关系型数据库是以表格的形式进行存储的,而非关系型数据库是以key-value的形式存储的

    4.2 事务

      关系型数据库汇总有事务的概念,而非关系型数据库中没有,它的每一个数据集都是原子级别的

    4.3 数据集

      关系型数据库的是表格型的,存储在数据表的行和列中,彼此关联,容易提取。而非关系型是大块存储的再一起的。

    4.4 结构

      关系型数据库的结构是预先定义好的的,例如主键、索引、外键等,定义好这些结构之后才能添加数据。
      在非关系型数据库中,数据可以在任何时候任何地方添加。不需要预先定义。

    更多相关内容
  • 关系型数据库设计篇

    2021-03-05 06:08:41
    在这一章中,我们会对我们的例子进行扩充,学习一些有关MySQL的新知识,并试图理解并掌握关系型数据库所能提供的功能。 首先,我们得说明我们对许多问题的解决只是不正规的(也就是说非正式的)。正如你在许多...
  • 关系型数据库以行和列的形式存储数据,行和列的形式被称为表,表是由一组相关实体组成的集合。一组表组成了数据库。表中的一行称为关系的一个元组,用来存储事物的一个实例;表中的一列称为关系的一个属性,用来描述...
  • 便于日常用到时进行查找,如下:一、关系型数据库1、含义:关系型数据库,是指采用了关系模型来组织数据的数据库,其以行和列的形式存储数据,以便于用户理解关系型数据库这一系列的行和列被称为表,一组表组成了...

    综合百度百科和自己的理解整理以下内容,便于日常用到时进行查找,如下:

    d9cb7d2ef2c37bfc714d37e4e100a581.png

    一、关系型数据库

    1、含义:

    关系型数据库,是指采用了关系模型来组织数据的数据库,其以行和列的形式存储数据,以便于用户理解,关系型数据库这一系列的行和列被称为表,一组表组成了数据库。用户通过查询来检索数据库中的数据,而查询是一个用于限定数据库中某些区域的执行代码。关系模型可以简单理解为二维表格模型,而一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织。

    2、常见的关系型数据库

    关系型数据库常见的有 Oracle,SQLServer,DB2,Mysql,Microsoft Access等多个品种,每种数据库语法功能各具特色。除了Mysql大多数的关系型数据库如果要使用都需要支付一笔价格高昂的费用,即使是免费的Mysql性能也受到了诸多的限制。

    3、ACID原则

    关系型数据库强调ACID规则

    (即:原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)),可以满足对事务性要求较高或者需要进行复杂数据查询的数据操作,而且可以充分满足数据库操作的高性能和操作稳定性的要求。并且关系型数据库十分强调数据的强一致性,对于事务的操作有很好的支持。关系型数据库可以控制事务原子性细粒度,并且一旦操作有误或者有需要,可以马上回滚事务。

    4、其他理解,请百度

    二、非关系型数据库

    1、含义:

    非关系型数据库,又被称为NoSQL(Not Only SQL ),意为不仅仅是SQL( Structured QueryLanguage,结构化查询语言),据维基百科介绍,NoSQL最早出现于1998 年,是由Carlo Storzzi最早开发的个轻量、开源、不兼容SQL 功能的关系型数据库,2009 年,在一次分布式开源数据库的讨论会上,再次提出了NoSQL 的概念,此时NoSQL主要是指非关系型、分布式、不提供ACID (数据库事务处理的四个基本要素)的数据库设计模式。同年,在亚特兰大举行的“NoSQL(east)”讨论会上,对NoSQL 最普遍的定义是“非关联型的”,强调Key-Value 存储和文档数据库的优点,而不是单纯地反对RDBMS,至此,NoSQL 开始正式出现在世人面前。

    2、常见的非关系型数据库有Redis, Amazon DynamoDB, Memcached,

    Microsoft Azure Cosmos DB和Hazelcast

    3、不遵循ACID原则

    4、使用范围:分布式数据库,近几年分布式数据库用的比较火的是redis

    三、数据库排名参考

    地址:

    https://db-engines.com/en/ranking

    如图:(图会随时变更)

    d028fa8a337fbd06f1afe6106fd9470f.png

    PS:以上整理如有不当之处,欢迎留言

    注意:ACID(面试常问)

    数据库事务必须具备ACID特性,ACID分别是Atomic原子性,Consistency一致性,

    Isolation隔离性,Durability持久性。

    展开全文
  • 关系型数据库理解

    千次阅读 2015-11-26 19:43:50
    1.关系型数据库简单的可以理解为二维数据库,表的格式就如Excel,有行有列。常用的关系数据库有Oracle,SqlServer,Informix,MySql,SyBase等。(也即是我们平时看到的数据库,都是关系型数据库) 2.所谓关系型...
    1.关系型数据库简单的可以理解为二维数据库,表的格式就如Excel,有行有列。常用的关系数据库有Oracle,SqlServer,Informix,MySql,SyBase等。(也即是我们平时看到的数据库,都是关系型数据库)
    
    
    2.所谓关系型数据库,是指采用了关系模型来组织数据的数据库。关系模型是在1970年由IBM的研究员E.F.Codd博士首先提出,在之后的几十年中,关系模型的概念得到了充分的发展并逐渐成为数据库架构的主流模型。简单来说,关系模型指的就是二维表格模型,而一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。下面列出了关系模型中的常用概念。
    
    3.关系型数据库并不是唯一的高级数据库模型,也完全不是性能最优的模型,但是关系型数据库确实是现今使用最广泛、最容易理解和使用的数据库模型。大多数的企业级系统数据库都采用关系型数据库,关系型数据库的概念是掌握数据库开发的基础,所以本节的问题也成为.NET面试中频繁出现的问题之一。
     
    4.
    关系:可以理解为一张二维表,每个关系都具有一个关系名,就是通常说的表名。
    元组:可以理解为二维表中的一行,在数据库中经常被称为记录。
    属性:可以理解为二维表中的一列,在数据库中经常被称为字段。
    域:属性的取值范围,也就是数据库中某一列的取值限制。
    关键字:一组可以唯一标识元组的属性。数据库中常称为主键,由一个或多个列组成。
    关系模式:指对关系的描述,其格式为:关系名(属性1,属性2,…,属性N)。在数据库中通常称为表结构。
    
    
    5.
    关系型数据库的优点
    关系型数据库相比其他模型的数据库而言,有着以下优点:
    容易理解:二维表结构是非常贴近逻辑世界的一个概念,关系模型相对网状、层次等其他模型来说更容易理解。
    使用方便:通用的SQL语言使得操作关系型数据库非常方便,程序员甚至于数据管理员可以方便地在逻辑层面操作数据库,而完全不必理解其底层实现。
    易于维护:丰富的完整性(实体完整性、参照完整性和用户定义的完整性)大大降低了数据冗余和数据不一致的概率。
    6.
    标准数据查询语言SQL就是一种基于关系数据库的语言,
    这种语言执行对关系数据库中数据的检索和操作。
    
    
    7.
    关系操作
    关系模块中常用的操作包括:
    数据查询
    选择 投影 连接 并 交 差 除 数据操作 增加 删除 修改 查询
    
     

    搜索与推荐Wiki

    扫一扫 关注微信公众号!号主 专注于搜索和推荐系统,尝试使用算法去更好的服务于用户,包括但不局限于机器学习,深度学习,强化学习,自然语言理解,知识图谱,还不定时分享技术,资料,思考等文章!


                                 【技术服务】,详情点击查看:https://mp.weixin.qq.com/s/PtX9ukKRBmazAWARprGIAg 


    外包服务

     

    展开全文
  • 关系型数据库与非关系型数据库详解

    千次阅读 多人点赞 2021-02-25 15:51:48
    关系数据库与非关系型数据库一、数据库概述1、关系型数据库2、非关系型数据库二、数据库区别1、数据存储方式不同2、扩展方式不同3、对事务性的支持不同三、非关系型数据库产生背景四、Redis简介1、Redis 优点五、...

    一、数据库概述

    1、关系型数据库

    关系型数据库是一个结构化的数据库,创建在关系模型(二维表格模型)基础上,一般面向于记录。

    SQL 语句(标准数据查询语言)就是一种基于关系型数据库的语言,用于执行对关系型数据库中数据的检索和操作。

    主流的关系型数据库包括 Oracle、MySQL、SQL Server、Microsoft Access、DB2 等。

    2、非关系型数据库

    NoSQL(NoSQL = Not Only SQL ),意思是“不仅仅是 SQL”,是非关系型数据库的总称。

    除了主流的关系型数据库外的数据库,都认为是非关系型。

    主流的 NoSQL 数据库有 Redis、MongBD、Hbase、CouhDB 等。

    二、数据库区别

    1、数据存储方式不同

    关系型和非关系型数据库的主要差异是数据存储的方式。关系型数据天然就是表格式的,因此存储在数据表的行和列中。数据表可以彼此关联协作存储,也很容易提取数据。

    与其相反,非关系型数据不适合存储在数据表的行和列中,而是大块组合在一起。非关系型数据通常存储在数据集中,就像文档、键值对或者图结构。你的数据及其特性是选择数据存储和提取方式的首要影响因素。

    2、扩展方式不同

    SQL和NoSQL数据库最大的差别可能是在扩展方式上,要支持日益增长的需求当然要扩展。

    为了支持更多并发量,SQL数据库是纵向扩展,也就是说提高处理能力,使用速度更快速的计算机,这样处理相同的数据集就更快了。因为数据存储在关系表中,操作的性能瓶颈可能涉及很多个表,这都需要通过提高计算机性能来客服。虽然SQL数据库有很大扩展空间,但最终肯定会达到纵向扩展的上限。
    而NoSQL数据库是横向扩展的。因为非关系型数据存储天然就是分布式的,NoSQL数据库的扩展可以通过给资源池添加更多普通的数据库服务器(节点)来分担负载。

    3、对事务性的支持不同

    如果数据操作需要高事务性或者复杂数据查询需要控制执行计划,那么传统的SQL数据库从性能和稳定性方面考虑是你的最佳选择。SQL数据库支持对事务原子性细粒度控制,并且易于回滚事务。

    虽然NoSQL数据库也可以使用事务操作,但稳定性方面没法和关系型数据库比较,所以它们真正闪亮的价值是在操作的扩展性和大数据量处理方面。

    三、非关系型数据库产生背景

    可用于应对 Web2.0 纯动态网站类型的三高问题。

    • (1)High performance——对数据库高并发读写需求
    • (2)Huge Storage——对海量数据高效存储与访问需求
    • (3)High Scalability && High Availability——对数据库高可扩展性与高可用性需求

    关系型数据库和非关系型数据库都有各自的特点与应用场景,两者的紧密结合将会给Web2.0的数据库发展带来新的思路。让关系数据库关注在关系上,非关系型数据库关注在存储上。例如,在读写分离的MySQL数据库环境中,可以把经常访问的数据存储在非关系型数据库中,提升访问速度。

    总结:
    关系型数据库:

    • 实例–>数据库–>表(table)–>记录行(row)、数据字段(column)

    非关系型数据库:

    • 实例–>数据库–>集合(collection)–>键值对(key-value)
    • 非关系型数据库不需要手动建数据库和集合(表)。

    四、Redis简介

    Redis 是一个开源的、使用 C 语言编写的 NoSQL 数据库。 Redis
    基于内存运行并支持持久化,采用key-value(键值对)的存储形式,是目前分布式架构中不可或缺的一环。

    Redis服务器程序是单进程模型,也就是在一台服务器上可以同时启动多个Redis进程,Redis的实际处理速度则是完全依靠于主进程的执行效率。若在服务器上只运行一个Redis进程,当多个客户端同时访问时,服务器的处理能力是会有一定程度的下降;若在同一台服务器上开启多个Redis进程,Redis在提高并发处理能力的同时会给服务器的CPU造成很大压力。即:在实际生产环境中,需要根据实际的需求来决定开启多少个Redis进程。若对高并发要求更高一些,可能会考虑在同一台服务器上开启多个进程。若 CPU 资源比较紧张,采用单进程即可。

    1、Redis 优点

    • (1)具有极高的数据读写速度:数据读取的速度最高可达到 110000 次/s,数据写入速度最高可达到 81000 次/s。
    • (2)支持丰富的数据类型:支持 key-value、Strings、Lists、Hashes、Sets 及 Ordered Sets
      等数据类型操作。
    • (3)支持数据的持久化:可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。
    • (4)原子性:Redis 所有操作都是原子性的。
    • (5)支持数据备份:即 master-salve 模式的数据备份。

    Redis作为基于内存运行的数据库,缓存是其最常应用的场景之一。除此之外,Redis常见应用场景还包括获取最新N个数据的操作、排行榜类应用、计数器应用、存储关系、实时分析系统、日志记录。

    五、Redis 安装部署

    systemctl stop firewalld
    setenforce 0
    
    yum install -y gcc gcc-c++ make
    
    tar zxvf redis-5.0.7.tar.gz -C /opt/
    
    cd /opt/redis-5.0.7/
    make PREFIX=/usr/local/redis install
    

    在这里插入图片描述

    cd /opt/redis-5.0.7/utils
    ./install_server.sh
    
    慢慢回车
    Please select the redis executable path []
    手动输入
    /usr/local/redis/bin/redis-server
    

    在这里插入图片描述

    Selected config:
    Port           : 6379								#默认侦听端口为6379
    Config file    : /etc/redis/6379.conf				#配置文件路径
    Log file       : /var/log/redis_6379.log			#日志文件路径
    Data dir       : /var/lib/redis/6379				#数据文件路径
    Executable     : /usr/local/redis/bin/redis-server	#可执行文件路径
    Cli Executable : /usr/local/bin/redis-cli			#客户端命令工具
    
    ln -s /usr/local/redis/bin/* /usr/local/bin/
    
    /etc/init.d/redis_6379 stop				#停止
    /etc/init.d/redis_6379 start			#启动
    /etc/init.d/redis_6379 restart			#重启
    /etc/init.d/redis_6379 status			#状态
    

    在这里插入图片描述
    修改配置 /etc/redis/6379.conf 参数

    vim /etc/redis/6379.conf
    
    70行,添加 监听的主机地址
    bind 127.0.0.1 192.168.90.10				
    
    93行,Redis默认的监听端口
    port 6379									
    
    137行,启用守护进程
    daemonize yes							
    
    159行,指定 PID 文件
    pidfile /var/run/redis_6379.pid				
    
    167行,日志级别
    loglevel notice								
    
    172行,指定日志文件
    logfile /var/log/redis_6379.log				
    
    /etc/init.d/redis_6379 restart
    

    在这里插入图片描述

    六、Redis 命令工具

    redis-server		用于启动 Redis 的工具
    redis-benchmark		用于检测 Redis 在本机的运行效率
    redis-check-aof		修复 AOF 持久化文件
    redis-check-rdb		修复 RDB 持久化文件
    redis-cli	 		Redis命令行工具
    

    (1)redis-cli 命令行工具

    语法:redis-cli -h host -p port -a password
    
    -h	指定远程主机
    -p	指定 Redis 服务的端口号
    -a	指定密码,未设置数据库密码可以省略-a 选项
    

    若不添加任何选项表示,则使用 127.0.0.1:6379 连接本机上的 Redis 数据库

    redis-cli -h 192.168.90.10 -p 6379
    此时无密码,不需要-a 直接登陆
    

    在这里插入图片描述

    (2)redis-benchmark 测试工具

    redis-benchmark 是官方自带的 Redis 性能测试工具,可以有效的测试 Redis 服务的性能。

    基本的测试语法:redis-benchmark [选项] [选项值]
    -h	指定服务器主机名。
    -p	指定服务器端口。
    -s	指定服务器 socket
    -c	指定并发连接数。
    -n	指定请求数。
    -d	以字节的形式指定 SET/GET 值的数据大小。
    -k	1=keep alive 0=reconnect 。
    -r	SET/GET/INCR 使用随机 key, SADD 使用随机值。
    -P	通过管道传输请求。
    -q	强制退出 redis。仅显示 query/sec 值。
    –csv	以 CSV 格式输出。
    -l	生成循环,永久执行测试。
    -t	仅运行以逗号分隔的测试命令列表。
    -I	Idle 模式。仅打开 N 个 idle 连接并等待。
    

    向 IP 地址为 192.168.90.10、端口为 6379 的 Redis 服务器发送 100 个并发连接与 100000 个请求测试性能

    redis-benchmark -h 192.168.90.10 -p 6379 -c 100 -n 100000
    

    在这里插入图片描述
    测试存取大小为 100 字节的数据包的性能

    redis-benchmark -h 192.168.90.10 -p 6379 -q -d 100
    

    在这里插入图片描述
    测试本机上 Redis 服务在进行 set 与 lpush 操作时的性能

    redis-benchmark -t set,lpush -n 100000 -q
    

    在这里插入图片描述

    (3)Redis 数据库常用命令

    set		存放数据,命令格式为 set key value
    get		获取数据,命令格式为 get key
    keys 	命令可以取符合规则的键值列表,通常情况可以结合*、?等选项来使用。
    exists 	命令可以判断键值是否存在。
    del 	命令可以删除当前数据库的指定 key。
    type 	命令可以获取 key 对应的 value 值类型。
    
    例:
    keys * 查询所有建和键值
    keys a* 查询a开头的所有键和键值
    keys a?? 查询a开头后面跟两位数的键和键值
    

    在这里插入图片描述

    例:
    exists teacher
    exists qqqqqqq
    

    在这里插入图片描述

    rename 命令是对已有 key 进行重命名。(覆盖)
    命令格式:rename 源key 目标key
    
    renamenx 命令的作用是对已有 key 进行重命名,并检测新名是否存在,如果目标 key 存在则不进行重命名。(不覆盖)
    命令格式:renamenx 源key 目标key
    
    dbsize 命令的作用是查看当前数据库中 key 的数目。
    
    使用config set requirepass password命令设置密码
    使用config get requirepass命令查看密码(一旦设置密码,必须先验证通过密码,否则所有操作不可用)
    

    使用rename命令进行重命名时,无论目标key是否存在都进行重命名,且源key的值会覆盖目标key的值。在实际使用过程中,建议先用
    exists 命令查看目标 key 是否存在,然后再决定是否执行 rename 命令,以避免覆盖重要数据。

    (4)Redis 多数据库常用命令

    Redis 支持多数据库,Redis 默认情况下包含 16 个数据库,数据库名称是用数字 0-15 来依次命名的。

    多数据库相互独立,互不干扰。

    多数据库间切换

    命令格式:select 序号
    使用 redis-cli 连接 Redis 数据库后,默认使用的是序号为 0 的数据库。
    

    在这里插入图片描述
    多数据库间移动数据

    格式:move 键值 序号
    
    例:
    keys *
    move a1 5
    select
    keys *
    

    在这里插入图片描述

    清除数据库内数据
    FLUSHDB :清空当前数据库数据
    FLUSHALL :清空所有数据库的数据,慎用!
    

    七、Redis 高可用

    在web服务器中,高可用是指服务器可以正常访问的时间,衡量的标准是在多长时间内可以提供正常服务(99.9%、99.99%、99.999%等等)。

    但是在Redis语境中,高可用的含义似乎要宽泛一些,除了保证提供正常服务(如主从分离、快速容灾技术),还需要考虑数据容量的扩展、数据安全不会丢失等。

    在Redis中,实现高可用的技术主要包括持久化、主从复制、哨兵和集群,下面分别说明它们的作用,以及解决了什么样的问题。

    • 持久化:持久化是最简单的高可用方法(有时甚至不被归为高可用的手段),主要作用是数据备份,即将数据存储在硬盘,保证数据不会因进程退出而丢失。
    • 主从复制:主从复制是高可用Redis的基础,哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。缺陷:故障恢复无法自动化;写操作无法负载均衡;存储能力受到单机的限制。
    • 哨兵:在主从复制的基础上,哨兵实现了自动化的故障恢复。缺陷:写操作无法负载均衡;存储能力受到单机的限制。
    • 集群:通过集群,Redis解决了写操作无法负载均衡,以及存储能力受到单机限制的问题,实现了较为完善的高可用方案。

    八、Redis 持久化

    持久化的功能:Redis是内存数据库,数据都是存储在内存中,为了避免服务器断电等原因导致Redis进程异常退出后数据的永久丢失,需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘;当下次Redis重启时,利用持久化文件实现数据恢复。除此之外,为了进行灾难备份,可以将持久化文件拷贝到一个远程位置。

    九、Redis 提供两种方式进行持久化

    由于AOF持久化的实时性更好,即当进程意外退出时丢失的数据更少,因此AOF是目前主流的持久化方式,不过RDB持久化仍然有其用武之地。

    RDB 持久化:
    原理是将 Reids在内存中的数据库记录定时保存到磁盘上。
    AOF 持久化(append only file):
    原理是将 Reids 的操作日志以追加的方式写入文件,类似于MySQL的binlog。

    RDB持久化

    是指在指定的时间间隔内将内存中当前进程中的数据生成快照保存到硬盘(因此也称作快照持久化),用二进制压缩存储,保存的文件后缀是rdb;当Redis重新启动时,可以读取快照文件恢复数据。

    触发条件
    RDB持久化的触发分为手动触发和自动触发两种。

    (1)手动触发

    save命令和bgsave命令都可以生成RDB文件。
    save命令会阻塞Redis服务器进程,直到RDB文件创建完毕为止,在Redis服务器阻塞期间,服务器不能处理任何命令请求。
    而bgsave命令会创建一个子进程,由子进程来负责创建RDB文件,父进程(即Redis主进程)则继续处理请求。

    bgsave命令执行过程中,只有fork子进程时会阻塞服务器,而对于save命令,整个过程都会阻塞服务器,因此save已基本被废弃,线上环境要杜绝save的使用。

    (2)自动触发

    在自动触发RDB持久化时,Redis也会选择bgsave而不是save来进行持久化。

    save m n
    

    自动触发最常见的情况是在配置文件中通过save m n,指定当m秒内发生n次变化时,会触发bgsave。

    vim /etc/redis/6379.conf
    
    ==219行==以下三个save条件满足任意一个时,都会引起bgsave的调用
    
    save 900 1 :当时间到900秒时,如果redis数据发生了至少1次变化,则执行bgsave
    save 300 10 :当时间到300秒时,如果redis数据发生了至少10次变化,则执行bgsave
    save 60 10000 :当时间到60秒时,如果redis数据发生了至少10000次变化,则执行bgsave
    
    ==254行==指定RDB文件名
    
    dbfilename dump.rdb
    
    ==264行==指定RDB文件和AOF文件所在目录
    
    dir /var/lib/redis/6379
    
    ==242行==是否开启RDB文件压缩
    
    rdbcompression yes
    

    其他自动触发机制

    除了save m n 以外,还有一些其他情况会触发bgsave:

    • 在主从复制场景下,如果从节点执行全量复制操作,则主节点会执行bgsave命令,并将rdb文件发送给从节点。
    • 执行shutdown命令时,自动执行rdb持久化。

    (3)执行流程

    • Redis父进程首先判断:当前是否在执行save,或bgsave/bgrewriteaof的子进程,如果在执行则bgsave命令直接返回。
      bgsave/bgrewriteaof的子进程不能同时执行,主要是基于性能方面的考虑:两个并发的子进程同时执行大量的磁盘写操作,可能引起严重的性能问题。
    • 父进程执行fork操作创建子进程,这个过程中父进程是阻塞的,Redis不能执行来自客户端的任何命令
    • 父进程fork后,bgsave命令返回”Background saving started”信息并不再阻塞父进程,并可以响应其他命令
    • 子进程创建RDB文件,根据父进程内存快照生成临时快照文件,完成后对原有文件进行原子替换
    • 子进程发送信号给父进程表示完成,父进程更新统计信息

    (4)启动时加载

    RDB文件的载入工作是在服务器启动时自动执行的,并没有专门的命令。但是由于AOF的优先级更高,因此当AOF开启时,Redis会优先载入 AOF文件来恢复数据;只有当AOF关闭时,才会在Redis服务器启动时检测RDB文件,并自动载入。服务器载入RDB文件期间处于阻塞状态,直到载入完成为止。
    Redis载入RDB文件时,会对RDB文件进行校验,如果文件损坏,则日志中会打印错误,Redis启动失败。

    AOF 持久化

    RDB持久化是将进程数据写入文件,而AOF持久化,则是将Redis执行的每次写、删除命令记录到单独的日志文件中,查询操作不会记录; 当Redis重启时再次执行AOF文件中的命令来恢复数据。
    与RDB相比,AOF的实时性更好,因此已成为主流的持久化方案。

    (1)开启AOF

    Redis服务器默认开启RDB,关闭AOF;要开启AOF,需要在配置文件中配置:

    vim /etc/redis/6379.conf
    
    700行修改,开启AOF
    
    appendonly yes
    
    704行指定AOF文件名称
    
    appendfilename "appendonly.aof"
    
    796行是否忽略最后一条可能存在问题的指令
    
    aof-load-truncated yes
    
    /etc/init.d/redis_6379 restart
    

    (2)执行流程

    由于需要记录Redis的每条写命令,因此AOF不需要触发,下面介绍AOF的执行流程。

    AOF的执行流程包括:

    • 命令追加(append):将Redis的写命令追加到缓冲区aof_buf;
    • 文件写入(write)和文件同步(sync):根据不同的同步策略将aof_buf中的内容同步到硬盘;
    • 文件重写(rewrite):定期重写AOF文件,达到压缩的目的。

    (3)命令追加(append)

    Redis先将写命令追加到缓冲区,而不是直接写入文件,主要是为了避免每次有写命令都直接写入硬盘,导致硬盘IO成为Redis负载的瓶颈。
    命令追加的格式是Redis命令请求的协议格式,它是一种纯文本格式,具有兼容性好、可读性强、容易处理、操作简单避免二次开销等优点。在AOF文件中,除了用于指定数据库的select命令(如select 0为选中0号数据库)是由Redis添加的,其他都是客户端发送来的写命令。

    (4)文件写入(write)和文件同步(sync)

    Redis提供了多种AOF缓存区的同步文件策略,策略涉及到操作系统的write函数和fsync函数

    说明如下:

    为了提高文件写入效率,在现代操作系统中,当用户调用write函数将数据写入文件时,操作系统通常会将数据暂存到一个内存缓冲区里,当缓冲区被填满或超过了指定时限后,才真正将缓冲区的数据写入到硬盘里。这样的操作虽然提高了效率,但也带来了安全问题:如果计算机停机,内存缓冲区中的数据会丢失;因此系统同时提供了fsync、fdatasync等同步函数,可以强制操作系统立刻将缓冲区中的数据写入到硬盘里,从而确保数据的安全性。

    AOF缓存区的同步文件策略存在三种同步方式,它们分别是:

    vim /etc/redis/6379.conf
    

    ● appendfsync always: 命令写入aof_buf后立即调用系统fsync操作同步到AOF文件,fsync完成后线程返回。这种情况下,每次有写命令都要同步到AOF文件,硬盘IO成为性能瓶颈,Redis只能支持大约几百TPS写入,严重降低了Redis的性能;即便是使用固态硬盘(SSD),每秒大约也只能处理几万个命令,而且会大大降低SSD的寿命。

    ● appendfsync no: 命令写入aof_buf后调用系统write操作,不对AOF文件做fsync同步;同步由操作系统负责,通常同步周期为30秒。这种情况下,文件同步的时间不可控,且缓冲区中堆积的数据会很多,数据安全性无法保证。

    ● appendfsync everysec: 命令写入aof_buf后调用系统write操作,write完成后线程返回;fsync同步文件操作由专门的线程每秒调用一次。everysec是前述两种策略的折中,是性能和数据安全性的平衡,因此是Redis的默认配置,也是我们推荐的配置。

    (5)文件重写(rewrite)

    随着时间流逝,Redis服务器执行的写命令越来越多,AOF文件也会越来越大;过大的AOF文件不仅会影响服务器的正常运行,也会导致数据恢复需要的时间过长。

    文件重写是指定期重写AOF文件,减小AOF文件的体积。需要注意的是,AOF重写是把Redis进程内的数据转化为写命令,同步到新的AOF文件;不会对旧的AOF文件进行任何读取、写入操作!

    关于文件重写需要注意的另一点是:对于AOF持久化来说,文件重写虽然是强烈推荐的,但并不是必须的;即使没有文件重写,数据也可以被持久化并在Redis启动的时候导入;因此在一些实现中,会关闭自动的文件重写,然后通过定时任务在每天的某一时刻定时执行。

    文件重写之所以能够压缩AOF文件,原因在于:

    • 过期的数据不再写入文件
    • 无效的命令不再写入文件:如有些数据被重复设值(set mykey v1, set mykey v2)、有些数据被删除了(sadd
      myset v1, del myset)等。
    • 多条命令可以合并为一个:如sadd myset v1, sadd myset v2, sadd myset v3可以合并为sadd
      myset v1 v2 v3。

    通过上述内容可以看出,由于重写后AOF执行的命令减少了,文件重写既可以减少文件占用的空间,也可以加快恢复速度。

    文件重写的触发,分为手动触发和自动触发:

    • 手动触发:直接调用bgrewriteaof命令,该命令的执行与bgsave有些类似:都是fork子进程进行具体的工作,且都只有在fork时阻塞。
    • 自动触发:通过设置auto-aof-rewrite-min-size选项和auto-aof-rewrite-percentage选项来自动执行BGREWRITEAOF。
      只有当auto-aof-rewrite-min-size和auto-aof-rewrite-percentage两个选项同时满足时,才会自动触发AOF重写,即bgrewriteaof操作。
    vim /etc/redis/6379.conf
    

    ● auto-aof-rewrite-percentage 100 :当前AOF文件大小(即aof_current_size)是上次日志重写时AOF文件大小(aof_base_size)两倍时,发生BGREWRITEAOF操作
    ● auto-aof-rewrite-min-size 64mb :当前AOF文件执行BGREWRITEAOF命令的最小值,避免刚开始启动Reids时由于文件尺寸较小导致频繁的BGREWRITEAOF

    关于文件重写的流程,有两点需要特别注意:(1)重写由父进程fork子进程进行;(2)重写期间Redis执行的写命令,需要追加到新的AOF文件中,为此Redis引入了aof_rewrite_buf缓存。

    文件重写的流程如下

    (1)Redis父进程首先判断当前是否存在正在执行bgsave/bgrewriteaof的子进程,如果存在则bgrewriteaof命令直接返回,如果存在 bgsave命令则等bgsave执行完成后再执行。
    (2)父进程执行fork操作创建子进程,这个过程中父进程是阻塞的。
    (3.1)父进程fork后,bgrewriteaof命令返回”Background append only file rewrite started”信息并不再阻塞父进程, 并可以响应其他命令。Redis的所有写命令依然写入AOF缓冲区,并根据appendfsync策略同步到硬盘,保证原有AOF机制的正确。
    (3.2)由于fork操作使用写时复制技术,子进程只能共享fork操作时的内存数据。由于父进程依然在响应命令,因此Redis使用AOF重写缓冲区(aof_rewrite_buf)保存这部分数据,防止新AOF文件生成期间丢失这部分数据。也就是说,bgrewriteaof执行期间,Redis的写命令同时追加到aof_buf和aof_rewirte_buf两个缓冲区。
    (4)子进程根据内存快照,按照命令合并规则写入到新的AOF文件。
    (5.1)子进程写完新的AOF文件后,向父进程发信号,父进程更新统计信息,具体可以通过info persistence查看。
    (5.2)父进程把AOF重写缓冲区的数据写入到新的AOF文件,这样就保证了新AOF文件所保存的数据库状态和服务器当前状态一致。
    (5.3)使用新的AOF文件替换老文件,完成AOF重写。
    

    (6)启动时加载

    当AOF开启时,Redis启动时会优先载入AOF文件来恢复数据;只有当AOF关闭时,才会载入RDB文件恢复数据。
    当AOF开启,但AOF文件不存在时,即使RDB文件存在也不会加载。
    Redis载入AOF文件时,会对AOF文件进行校验,如果文件损坏,则日志中会打印错误,Redis启动失败。但如果是AOF文件结尾不完整(机器突然宕机等容易导致文件尾部不完整),且aof-load-truncated参数开启,则日志中会输出警告,Redis忽略掉AOF文件的尾部,启动成功。aof-load-truncated参数默认是开启的。

    RDB和AOF的优缺点

    ●RDB持久化

    优点:RDB文件紧凑,体积小,网络传输快,适合全量复制;恢复速度比AOF快很多。当然,与AOF相比,RDB最重要的优点之一是对性能的影响相对较小。

    缺点:RDB文件的致命缺点在于其数据快照的持久化方式决定了必然做不到实时持久化,而在数据越来越重要的今天,数据的大量丢失很多时候是无法接受的,因此AOF持久化成为主流。此外,RDB文件需要满足特定格式,兼容性差(如老版本的Redis不兼容新版本的RDB文件)。
    对于RDB持久化,一方面是bgsave在进行fork操作时Redis主进程会阻塞,另一方面,子进程向硬盘写数据也会带来IO压力。

    ●AOF持久化

    与RDB持久化相对应,AOF的优点在于支持秒级持久化、兼容性好,缺点是文件大、恢复速度慢、对性能影响大。
    对于AOF持久化,向硬盘写数据的频率大大提高(everysec策略下为秒级),IO压力更大,甚至可能造成AOF追加阻塞问题。
    AOF文件的重写与RDB的bgsave类似,会有fork时的阻塞和子进程的IO压力问题。相对来说,由于AOF向硬盘中写数据的频率更高,因此对 Redis主进程性能的影响会更大。

    十、Redis 性能管理

    ----- 查看Redis内存使用 -----

    redis-cli -h 192.168.90.10 -p 6379
    192.168.90.10:6379> info memory
    

    ----- 内存碎片率 -----
    操系统分配的内存值used_memory_rss除以Redis使用的内存值used_memory计算得出

    内存碎片是由操作系统低效的分配/回收物理内存导致的(不连续的物理内存分配)

    跟踪内存碎片率对理解Redis实例的资源性能是非常重要的:
    
    ●内存碎片率稍大于1是合理的,这个值表示内存碎片率比较低
    ●内存碎片率超过1.5,说明Redis消耗了实际需要物理内存的150%,其中50%是内存碎片率。需要在redis-cli工具上输入shutdown save 命令,并重启 Redis 服务器。
    ●内存碎片率低于1的,说明Redis内存分配超出了物理内存,操作系统正在进行内存交换。需要增加可用物理内存或减少 Redis 内存占用。
    

    ----- 内存使用率 -----
    redis实例的内存使用率超过可用最大内存,操作系统将开始进行内存与swap空间交换。

    避免内存交换发生的方法:
    
    ●针对缓存数据大小选择安装 Redis 实例
    ●尽可能的使用Hash数据结构存储
    ●设置key的过期时间
    

    ----- 内回收key -----
    保证合理分配redis有限的内存资源。
    当达到设置的最大阀值时,需选择一种key的回收策略,默认情况下回收策略是禁止删除。
    配置文件中修改 maxmemory-policy 属性值:

    vim /etc/redis/6379.conf
    
    598取消注释
    
    maxmemory-policy noenviction
    
    ●volatile-lru	使用LRU算法从已设置过期时间的数据集合中淘汰数据
    ●volatile-ttl	从已设置过期时间的数据集合中挑选即将过期的数据淘汰
    ●volatile-random	从已设置过期时间的数据集合中随机挑选数据淘汰
    ●allkeys-lru	使用LRU算法从所有数据集合中淘汰数据
    ●allkeys-random	从数据集合中任意选择数据淘汰
    ●noenviction	禁止淘汰数据
    
    展开全文
  • 关系型数据库的定义:关系型数据库是数据库的一种类型,英文全称为 `Relational database` ,简称 "RDBMS" ,是指的使用了关系模型的数据库系统。这个阶段除了关系型数据库之外,也要学习非关系型数据库。因为 SQL...
  • 关系型数据库和非关系型数据库的区别

    万次阅读 多人点赞 2019-06-30 20:59:09
    关系型数据库和非关系型数据库的区别 待会总结,先自我学习先 学习网址:https://blog.csdn.net/aaronthon/article/details/81714528
  • 数据库分为关系型数据库和非关系型数据库 补充关于二维表格组成的数据中常见的定义: 关系:二维表 元组:二维表中行(数据库称为记录) 属性:二维表中列(数据库称为字段),其属性的取值范围叫做 ”域“ 1. ...
  • 关系型数据库采用关系模型来组织数据结构的数据库(二维表)cle DB2 SQLServer Mysql SQLite都是关系型数据库优点:容易理解,它的逻辑类似常见的表格使用方便,都使用sql语句,sql语句非常的成熟数据一致性高,冗余低,数据...
  • 认识关系型数据库

    2018-08-06 19:24:46
    关系型数据库基础知识,包括关系数据模型三要素:数据结构、数据操作、完整性约束的初步讲解
  • 支持的数据类型关系型数据库与非关系型数据库一、关系型数据库优点缺点数据库二、非关系型数据库优点缺点数据库比较 Redis是什么? Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、...
  • 关系型数据库

    千次阅读 2022-02-09 15:46:48
    什么是关系型数据库(Relational database)? 关系数据库,是建立在关系模型基础上的数据库。 关系型数据库是由多张能互相联接的二维行列表格组成的数据库。 关系模型由关系数据结构、关系操作集合、关系完整性...
  • 当前数据库分为 关系型数据库 和 非关系型数据库 。 一、关系型数据库 关系型数据库: 指采用了关系模型来组织数据的数据库。 结构: 关系模型指的就是二维表格模型,关系型数据库最典型的数据结构就是表,是由二维...
  • 数据库系列(4):关系型数据库

    千次阅读 2022-02-17 11:04:37
    在商用数据库应用中,关系型数据库已经成为目前主要的数据...其中,关系模型可以简单理解为二维表格模型,于是一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织。 我们举例来看,有2个表: course(i
  • 关系型数据库与非关系型数据库Nosql区别汇总

    万次阅读 多人点赞 2018-08-24 11:14:06
    关系型数据库与非关系型数据库详细比较 关系型数据库与非关系型数据库优缺点对比 关于Nosql 1.Nosql 2.Nosql特点: 3.Nosql主要主流产品 4.Nosql数据库四大分类: 关系型数据库与非关系型数据库详细比较 1....
  • NoSQL与关系型数据库全面对比

    千次阅读 2021-06-22 00:15:05
    我们总在说各种数据库的使用,以及各个数据库的优缺点,每个数据库都有自己的所擅长的领域,但选择什么样的数据库才是重点,那么问题来了,数据库到底是怎么划分的,有什么讲究呢?数据库大致分为两大类...
  • 常见的非关系型数据库有哪些

    千次阅读 2020-06-02 16:04:57
    它是一种 NoSQL(not-only sql,泛指非关系型数据库)的数据库。 Redis作为一个内存数据库,具有如下有特点: 性能优秀, 数据在内存中, 读写速度非常快, 并支持10W QPS(每秒查询效率). 单进程单线程, 是线程安全的. ...
  • 关系型数据库的发展历史

    千次阅读 2019-03-12 23:15:03
    数据库发展史 信息系统产生了海量的数据,有数据必须要有数据的存放位置, 无库时代 :没有专门的...非关系型数据库:为适应水平扩展性和处理超大量的数据环境,近几年发展非常迅速的发展,衍生类型非常多。 本...
  • 内存数据库、关系型数据库和非关系型数据库 一、内存数据库、关系型数据库和非关系型数据库 1.个人观点: 二、内存数据库(Redis,MongoDb,SQLite,Oracle等): 三、Raft分布式协议: 四、Redis出现宕机,...
  • 常见的数据库模型分为两种,分别是关系型数据库关系型数据库关系型数据库 关系数据库,是建立在关系模型基础上的数据库,借助于集合代数等数学概念和方法来处理数据库中的数据。简单说,关系型数据库是由多...
  • 1、认识关系型数据库 1.1.1 什么是关系型数据库 1.1.2 实体关系模型 1.1.3 关系型数据库管理系统RDBMS 1.1.4 使用SQL语言管理数据库 1、认识关系型数据库 数据库简而言之就是数据的集合,它是由文件系统存储...
  • 数据库:简述对关系型数据库的认识 一、关系型数据库的认识 关系型数据库(Relational DataBase Management System),简称 RDBMS。说起关系型数据库,我们脑海中会立即浮现出 Oracle、MySQL、SQLServer 等数据库,...
  • 当前数据库分为关系型数据库和非关系型数据库 关系型数据库 关系型数据库:指采用了关系模型来组织数据的数据库。 关系模型指的就是二维表格模型,而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据...
  • 组内使用数据库为关系型数据库oracle,现在市场上出现了更为流行的关系型数据库诸如Mysql/MariaDB、PostgreSql、PPAS(增强型PostgreSql),以及当前在大数据框架中比较流行的非关系型数据库诸如Redis、MongoDB等。...
  • 关系型数据库的优势: 1、性能 NOSQL是基于键值对的,可以想象成表中的主键和值的对应关系,而且不需要经过SQL层的解析,所以性能非常高 2、可扩展性 同样也是因为基于键值对,数据之间没有耦合性,所以非常...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 234,986
精华内容 93,994
关键字:

关系型数据库的理解