精华内容
下载资源
问答
  • 关系型数据库特点

    2020-05-21 09:00:50
    1. 存储结构:存储结构化的数据,需要事先定义好字段名称,字段类型,字段个数 数据存储在行...5. 读写性能:关系型数据库追求的是数据实时性和数据的一致性 缺点总结: 1. 一旦数据表中存储数据后,修改表结构变得.

    1. 存储结构:存储结构化的数据,需要事先定义好字段名称,字段类型,字段个数  数据存储在行与列的交汇处(称之为Cell单元格)
    2. 存储规范:为了充分利用存储空间,尽可能的避免重复(数据冗余),按照数据最小关系表的形式存储,数
    据清晰,一目了然
    3. 查询方式:采用结构化查询语言(SQL)对数据进行管理
    4. 事务性:为了保证数据的商业业务逻辑以及数据安全性,支持ACID的事务特性
    5. 读写性能:关系型数据库追求的是数据实时性和数据的一致性


    缺点总结:
    1. 一旦数据表中存储数据后,修改表结构变得特别困难。
    2. 如果我们想扩展字段时,会对表结构产生影响。
    3. 即使某一行中的某个字段没有赋值,也要使用null填充
    4. 一旦涉及到多张表,因为数据表存在着复杂的关系,管理非常不方便。
    5. 一旦面对海量数据的处理时,读写性能特别差,尤其在高并发这一块。

    展开全文
  • 1.关系型数据库通过外键关联来建立表与表之间的关系, 2.非关系型数据库通常指数据以对象的形式存储在数据库中,而对象之间的关系通过每个对象自身的属性来决定  比如 一个学生的数据:  姓名:张三,性别:男...

    1.关系型数据库通过外键关联来建立表与表之间的关系,
    2.非关系型数据库通常指数据以对象的形式存储在数据库中,而对象之间的关系通过每个对象自身的属性来决定

           比如 有一个学生的数据:

                 姓名:张三,性别:男,学号:12345,班级:二年级一班

          还有一个班级的数据:

                班级:二年级一班,班主任:李四

    关系型数据库中,我们创建学生表和班级表来存这两条数据,并且学生表中的班级存储的是班级表中的主键。

    非关系型数据库中,我们创建两个对象,一个是学生对象,一个是班级对象,用java来表示就是:

    class Student {
        String id;
        String name;
        String sex;
        String number;
        String classid;
    }
    class Grade {
        String id;
        String name;
        String teacher;
    }

    通过设置Student类的classid等于Grade类的id来建立这种关系;

    非关系型数据库中,我们查询一条数据,结果出来一个数组;关系型数据库中,查询一条数据结果是一个对象。

    区别对比
     数据库类型            特性              优点         缺点
    关系型数据库
    SQLite、Oracle、mysql
    1、关系型数据库,是指采用了关系模型来组织
    数据的数据库;
    2、关系型数据库的最大特点就是事务的一致性;
    3、简单来说,关系模型指的就是二维表格模型,
    而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织。
    1、容易理解:二维表结构是非常贴近逻辑世界一个概念,关系模型相对网状、层次等其他模型来说更容易理解;
    2、使用方便:通用的SQL语言使得操作关系型数据库非常方便;
    3、易于维护:丰富的完整性(实体完整性、参照完整性和用户定义的完整性)大大减低了数据冗余和数据不一致的概率;
    4、支持SQL,可用于复杂的查询。
    1、为了维护一致性所付出的巨大代价就是其读写性能比较差;
    2、固定的表结构;
    3、高并发读写需求;
    4、海量数据的高效率读写;
    非关系型数据库
    MongoDb、redis、HBase
    1、使用键值对存储数据;
    2、分布式;
    3、一般不支持ACID特性;
    4、非关系型数据库严格上不是一种数据库,应该是一种数据结构化存储方法的集合。
    1、无需经过sql层的解析,读写性能很高;
    2、基于键值对,数据没有耦合性,容易扩展;
    3、存储数据的格式:nosql的存储格式是key,value形式、文档形式、图片形式等等,文档形式、图片形式等等,而关系型数据库则只支持基础类型。
    1、不提供sql支持,学习和使用成本较高;
    2、无事务处理,附加功能bi和报表等支持也不好;

    注1:数据库事务必须具备ACID特性,ACID是Atomic原子性,Consistency一致性,Isolation隔离性,Durability持久性。

    注2:数据的持久存储,尤其是海量数据的持久存储,还是需要一种关系数据库。

    原文: https://www.cnblogs.com/alilcu/p/8068259.html

    展开全文
  • 我本来一直觉得NoSQL其实很容易理解的,我本身也已经对NoSQL了非常深入的研究,但是在最近准备YunTable的Chart的时候,发现NoSQL不仅非常博大精深,而且我个人对NoSQL的理解也只是皮毛而已,但我还算是一个“知耻...

    云计算背后的秘密:NoSQL诞生的原因和优缺点

    我本来一直觉得NoSQL其实很容易理解的,我本身也已经对NoSQL有了非常深入的研究,但是在最近准备YunTable的Chart的时候,发现NoSQL不仅非常博大精深,而且我个人对NoSQL的理解也只是皮毛而已,但我还算是一个“知耻而后勇”的人,所以经过一段时间的学习之后,从本系列第六篇开始,就将和大家聊聊NoSQL,而本篇将主要给大家做一下NoSQL数据库的综述。 
    首先将和大家聊聊为什么NoSQL会在关系型数据库已经非常普及的情况下异军突起?

    诞生的原因

    随着互联网的不断发展,各种类型的应用层出不穷,所以导致在这个云计算的时代,对技术提出了更多的需求,主要体现在下面这四个方面: 
    1. 低延迟的读写速度:应用快速地反应能极大地提升用户的满意度; 
    2. 支撑海量的数据和流量:对于搜索这样大型应用而言,需要利用PB级别的数据和能应对百万级的流量; 
    3. 大规模集群的管理:系统管理员希望分布式应用能更简单的部署和管理;

    1. 庞大运营成本的考量:IT经理们希望在硬件成本、软件成本和人力成本能够有大幅度地降低;

    目前世界上主流的存储系统大部分还是采用了关系型数据库,其主要有一下优点:

    1.事务处理—保持数据的一致性;

    2.由于以标准化为前提,数据更新的开销很小(相同的字段基本上只有一处);

    3.可以进行Join等复杂查询。

    虽然关系型数据库已经在业界的数据存储方面占据不可动摇的地位,但是由于其天生的几个限制,使其很难满足上面这几个需求: 
    1. 扩展困难:由于存在类似Join这样多表查询机制,使得数据库在扩展方面很艰难; 
    2. 读写慢:这种情况主要发生在数据量达到一定规模时由于关系型数据库的系统逻辑非常复杂,使得其非常容易发生死锁等的并发问题,所以导致其读写速度下滑非常严重; 
    3. 成本高:企业级数据库的License价格很惊人,并且随着系统的规模,而不断上升; 
    4. 有限的支撑容量:现有关系型解决方案还无法支撑Google这样海量的数据存储; 
    业界为了解决上面提到的几个需求,推出了多款新类型的数据库,并且由于它们在设计上和传统的NoSQL数据库相比有很大的不同,所以被统称为“NoSQL”系列数据库。总的来说,在设计上,它们非常关注对数据高并发地读写和对海量数据的存储等,与关系型数据库相比,它们在架构和数据模型方量面做了“减法”,而在扩展和并发等方面做了“加法”。现在主流的NoSQL数据库有BigTable、HBase、Cassandra、SimpleDB、CouchDB、MongoDB和Redis等。接下来,将关注NoSQL数据库到底存在哪些优缺点。

    优缺点

    在优势方面,主要体现在下面这三点: 
    1. 简单的扩展:典型例子是Cassandra,由于其架构是类似于经典的P2P,所以能通过轻松地添加新的节点来扩展这个集群; 
    2. 快速的读写:主要例子有Redis,由于其逻辑简单,而且纯内存操作,使得其性能非常出色,单节点每秒可以处理超过10万次读写操作; 
    3. 低廉的成本:这是大多数分布式数据库共有的特点,因为主要都是开源软件,没有昂贵的License成本; 
    4. 
    但瑕不掩瑜,NoSQL数据库还存在着很多的不足,常见主要有下面这几个: 
    1. 不提供对SQL的支持:如果不支持SQL这样的工业标准,将会对用户产生一定的学习和应用迁移成本; 
    2. 支持的特性不够丰富:现有产品所提供的功能都比较有限,大多数NoSQL数据库都不支持事务,也不像MS SQL Server和Oracle那样能提供各种附加功能,比如BI和报表等; 
    3. 现有产品的不够成熟:大多数产品都还处于初创期,和关系型数据库几十年的完善不可同日而语; 
    上面NoSQL产品的优缺点都是些比较共通的,在实际情况下,每个产品都会根据自己所遵从的数据模型和CAP理念而有所不同,接下来,将给大家介绍NoSQL两个最重要的概念:数据模型和CAP理念,并在本文最后,对主流的NoSQL数据库进行分类。

    Naresh Kumar是位软件工程师与热情的博主,对于编程与新事物拥有极大的兴趣,非常乐于与其他开发者和程序员分享技术上的研究成果。近日,Naresh撰文比较了NoSQL与RDBMS,并详细介绍了他们各自的特点与适用的场景。

    NoSQL并不是关系型数据库管理系统,本文将会介绍NoSQL数据库与关系型数据库之间的差别,同时还会讨论在何种场景下应该使用NoSQL,何种场景下不应该使用。由于NoSQL还是个相对较新的技术,因此它还面临着很多挑战。

    时至今日,互联网上有数以亿计的用户。大数据与云计算已经成为很多主要的互联网应用都在使用或是准备使用的技术,这是因为互联网用户每天都在不断增长,数据也变得越来越复杂,而且有很多非结构化的数据存在,这是很难通过传统的关系型数据库管理系统来处理的。NoSQL技术则能比较好地解决这个问题,它主要用于非结构化的大数据与云计算上。从这个角度来看,NoSQL是一种全新的数据库思维方式。

    为何要使用NoSQL数据库?

    1.NoSQL具有灵活的数据模型,可以处理非结构化/半结构化的大数据

    现在,我们可以通过Facebook、D&B等第三方轻松获得与访问数据,如个人用户信息、地理位置数据、社交图谱、用户产生的内容、机器日志数据以及传感器生成的数据等。对这些数据的使用正在快速改变着通信、购物、广告、娱乐以及关系管理的特质。没有使用这些数据的应用很快就会被用户所遗忘。开发者希望使用非常灵活的数据库,能够轻松容纳新的数据类型,并且不会被第三方数据提供商内容结构的变化所累。很多新数据都是非结构化或是半结构化的,因此开发者还需要能够高效存储这种数据的数据库。但遗憾的是,关系型数据库所使用的定义严格、基于模式的方式是无法快速容纳新的数据类型的,对于非结构化或是半结构化的数据更是无能为力。NoSQL提供的数据模型则能很好地满足这种需求。很多应用都会从这种非结构化数据模型中获益,比如说CRM、ERP、BPM等等,他们可以通过这种灵活性存储数据而无需修改表或是创建更多的列。这些数据库也非常适合于创建原型或是快速应用,因为这种灵活性使得新特性的开发变得非常容易。

    2.NoSQL很容易实现可伸缩性(向上扩展与水平扩展)

    如果有很多用户在频繁且并发地使用你的应用,那么你就需要考虑可伸缩的数据库技术而非传统的RDBMS了。对于关系型技术来说,很多应用开发者会发现动态的可伸缩性是难以实现的,这时就应该考虑切换到NoSQL数据库上。对于云应用来说,关系型数据库一开始是普遍的选择。然而,在使用过程中却遇到了越来越多的问题,原因就在于他们是中心化的,向上扩展而非水平扩展的。这使得他们不适合于那些需要简单且动态可伸缩性的应用。NoSQL数据库从一开始就是分布式、水平扩展的,因此非常适合于互联网应用分布式的特性。

    在三层互联网架构的Web/应用层上,多年来向上扩展已经成为默认的扩展方式了。随着应用使用人数的激增,我们需要添加更多的服务器,性能则是通过负载均衡来实现的,这时的代价与用户数量成线性比例关系。在NoSQL数据库之前,数据库层的默认扩展方式就是向上扩展。为了支持更多的并发用户以及存储更多的数据,你需要越来越好的服务器,更好的CPU、更多的内存、更大的磁盘来维护所有表。然而,好的服务器意味着更加复杂、私有、并且也更加昂贵。这与Web/应用层所使用的便宜的硬件形成了鲜明的对比。

    3.动态模式

    关系型数据库需要在添加数据前先定义好模式。比如说,你需要存储客户的电话号码、姓名、地址、城市与州等信息,SQL数据库需要提前知晓你要存的是什么。这对于敏捷开发模式来说是场灾难,因为每次完成新特性时,数据库的模式通常都需要改变。因此,如果在开发过程中想将客户喜欢的条目加到数据库中,那就得向表中添加这一列才行,然后要做的就是将整个数据库迁移到新的模式上。

    4.自动分片

    由于是结构化的,关系型数据库通常会垂直扩展,单台服务器要持有整个数据库来确保可靠性与数据的持续可用性。这样做的代价就是非常昂贵、扩展受到限制,并且数据库基础设施会成为失败点。这个问题的解决方案就是水平扩展,添加服务器而不是为单台服务器增加更多的能力。NoSQL数据库通常都支持自动分片,这意味着他们本质上就会自动在多台服务器上分发数据,应用甚至都不知道这些事情。数据与查询负载会自动在多台服务器上做到平衡,当某台服务器当机时,它能快速且透明地被替换掉。

    5.复制

    大多数NoSQL数据库也支持自动复制,这意味着你可以获得高可用性与灾备恢复功能。从开发者的角度来看,存储环境本质上是虚拟化的。

    NoSQL数据库面临的挑战

    1.成熟度

    RDBMS系统由来已久。NoSQL拥护者们会说RDBMS的高龄是其衰退的标志,不过对于大多数CIO来说,RDBMS的成熟让人放心。对于大多数情况来说,RDBMS系统是稳定且功能丰富的。相比较而言,大多数NoSQL数据库则还有很多特性有待实现。

    2.支持

    企业需要的是安心,如果关键系统出现了故障,他们可以获得即时的支持。所有RDBMS厂商都在不遗余力地提供良好的企业支持。与之相反,大多数NoSQL系统都是开源项目,虽然每种数据库都有那么几家公司提供支持,不过这些公司大多都是小的初创公司,没有全球支持资源,也没有Oracle、微软或是IBM那种令人放心的公信力。

    3.分析与商业智能

    NoSQL数据库在Web 2.0应用时代开始出现。因此,大多数特性都是面向这些应用的需要的。然而,应用中的数据对于业务来说是有价值的,这种价值远远超出了Web应用那种CRUD。企业数据库中的业务信息可以帮助改进效率并提升竞争力,商业智能对于大中型企业来说是个非常关键的IT问题。

    4.管理

    NoSQL的设计目标是提供零管理的解决方案,不过当今的现实却离这个目标还相去甚远。现在的NoSQL需要很多技巧才能用好,并且需要不少人力、物力来维护。

    5.专业

    全球有很多开发者,每个业务部门都会有熟悉RDBMS概念与编程的人。相反,几乎每个NoSQL开发者都处于学习模式。这种状况会随着时间的流逝而发生改观。但现在,找到一个有经验的RDBMS程序员或是管理员要比NoSQL专家容易多了。

    结论

    NoSQL数据库正在成为数据库领域的重要力量。如果使用恰当,那么它会带来很多好处。然而,企业应该非常小心并注意到这些数据库的限制与问题。

    NoSQL这两年越来越热,尤其是大型互联网公司非常热衷这门技术。根据笔者的经验,并不是任何场景,NoSQL都要优于关系型数据库。下面我们来具体聊聊,什么时候使用NoSQL比较给力:

    1) 数据库表schema经常变化 
    比如在线商城,维护产品的属性经常要增加字段,这就意味着ORMapping层的代码和配置要改,如果该表的数据量过百万,新增字段会带来额外开销(重建索引等)。NoSQL应用在这种场景,可以极大提升DB的可伸缩性,开发人员可以将更多的精力放在业务层。

    2)数据库表字段是复杂数据类型

    对于复杂数据类型,比如SQL Sever提供了可扩展性的支持,像xml类型的字段。很多用过的同学应该知道,该字段不管是查询还是更改,效率非常一般。主要原因是是DB层对xml字段很难建高效索引,应用层又要做从字符流到dom的解析转换。NoSQL以json方式存储,提供了原生态的支持,在效率方便远远高于传统关系型数据库。

    3)高并发数据库请求

    此类应用常见于web2.0的网站,很多应用对于数据一致性要求很低,而关系型数据库的事务以及大表join反而成了”性能杀手”。在高并发情况下,sql与no-sql的性能对比由于环境和角度不同一直是存在争议的,并不是说在任何场景,no-sql总是会比sql快。有篇article和大家分享下,http://artur.ejsmont.org/blog/content/insert-performance-comparison-of-nosql-vs-sql-servers

    4)海量数据的分布式存储

    海量数据的存储如果选用大型商用数据,如Oracle,那么整个解决方案的成本是非常高的,要花很多钱在软硬件上。NoSQL分布式存储,可以部署在廉价的硬件上,是一个性价比非常高的解决方案。Mongo的auto-sharding已经运用到了生产环境。http://www.mongodb.org/display/DOCS/Sharding

    并不是说NoSQL可以解决一切问题,像ERP系统、BI系统,在大部分情况还是推荐使用传统关系型数据库。主要的原因是此类系统的业务模型复杂,使用NoSQL将导致系统的维护成本增加。

    为什么要使用NoSQL

    NoSQL概念 
    随着web2.0的快速发展,非关系型、分布式数据存储得到了快速的发展,它们不保证关系数据的ACID特性。NoSQL概念在2009年被提了出来。NoSQL最常见的解释是“non-relational”,“Not Only SQL”也被很多人接受。(“NoSQL”一词最早于1998年被用于一个轻量级的关系数据库的名字。)

    NoSQL被我们用得最多的当数key-value存储,当然还有其他的文档型的、列存储、图型数据库、xml数据库等。在NoSQL概念提出之前,这些数据库就被用于各种系统当中,但是却很少用于web互联网应用。比如cdb、qdbm、bdb数据库。

    传统关系数据库的瓶颈 
    传统的关系数据库具有不错的性能,高稳定型,久经历史考验,而且使用简单,功能强大,同时也积累了大量的成功案例。在互联网领域,MySQL成为了绝对靠前的王者,毫不夸张的说,MySQL为互联网的发展做出了卓越的贡献。

    在90年代,一个网站的访问量一般都不大,用单个数据库完全可以轻松应付。在那个时候,更多的都是静态网页,动态交互类型的网站不多。

    到了最近10年,网站开始快速发展。火爆的论坛、博客、sns、微博逐渐引领web领域的潮流。在初期,论坛的流量其实也不大,如果你接触网络比较早,你可能还记得那个时候还有文本型存储的论坛程序,可以想象一般的论坛的流量有多大。

    Memcached+MySQL 
    后来,随着访问量的上升,几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题,web程序不再仅仅专注在功能上,同时也在追求性能。程序员们开始大量的使用缓存技术来缓解数据库的压力,优化数据库的结构和索引。开始比较流行的是通过文件缓存来缓解数据库压力,但是当访问量继续增大的时候,多台web机器通过文件缓存不能共享,大量的小文件缓存也带了了比较高的IO压力。在这个时候,Memcached就自然的成为一个非常时尚的技术产品。

    Memcached作为一个独立的分布式的缓存服务器,为多个web服务器提供了一个共享的高性能缓存服务,在Memcached服务器上,又发展了根据hash算法来进行多台Memcached缓存服务的扩展,然后又出现了一致性hash来解决增加或减少缓存服务器导致重新hash带来的大量缓存失效的弊端。当时,如果你去面试,你说你有Memcached经验,肯定会加分的。

    Mysql主从读写分离 
    由于数据库的写入压力增加,Memcached只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负,大部分网站开始使用主从复制技术来达到读写分离,以提高读写性能和读库的可扩展性。Mysql的master-slave模式成为这个时候的网站标配了。

    分表分库 
    随着web2.0的继续高速发展,在Memcached的高速缓存,MySQL的主从复制,读写分离的基础之上,这时MySQL主库的写压力开始出现瓶颈,而数据量的持续猛增,由于MyISAM使用表锁,在高并发下会出现严重的锁问题,大量的高并发MySQL应用开始使用InnoDB引擎代替MyISAM。同时,开始流行使用分表分库来缓解写压力和数据增长的扩展问题。这个时候,分表分库成了一个热门技术,是面试的热门问题也是业界讨论的热门技术问题。也就在这个时候,MySQL推出了还不太稳定的表分区,这也给技术实力一般的公司带来了希望。虽然MySQL推出了MySQL Cluster集群,但是由于在互联网几乎没有成功案例,性能也不能满足互联网的要求,只是在高可靠性上提供了非常大的保证。

    MySQL的扩展性瓶颈 
    在互联网,大部分的MySQL都应该是IO密集型的,事实上,如果你的MySQL是个CPU密集型的话,那么很可能你的MySQL设计得有性能问题,需要优化了。大数据量高并发环境下的MySQL应用开发越来越复杂,也越来越具有技术挑战性。分表分库的规则把握都是需要经验的。虽然有像淘宝这样技术实力强大的公司开发了透明的中间件层来屏蔽开发者的复杂性,但是避免不了整个架构的复杂性。分库分表的子库到一定阶段又面临扩展问题。还有就是需求的变更,可能又需要一种新的分库方式。

    MySQL数据库也经常存储一些大文本字段,导致数据库表非常的大,在做数据库恢复的时候就导致非常的慢,不容易快速恢复数据库。比如1000万4KB大小的文本就接近40GB的大小,如果能把这些数据从MySQL省去,MySQL将变得非常的小。

    关系数据库很强大,但是它并不能很好的应付所有的应用场景。MySQL的扩展性差(需要复杂的技术来实现),大数据下IO压力大,表结构更改困难,正是当前使用MySQL的开发人员面临的问题。

    NOSQL的优势

    易扩展 
    NoSQL数据库种类繁多,但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系,这样就非常容易扩展。也无形之间,在架构的层面上带来了可扩展的能力。

    大数据量,高性能 
    NoSQL数据库都具有非常高的读写性能,尤其在大数据量下,同样表现优秀。这得益于它的无关系性,数据库的结构简单。一般MySQL使用Query Cache,每次表的更新Cache就失效,是一种大粒度的Cache,在针对web2.0的交互频繁的应用,Cache性能不高。而NoSQL的Cache是记录级的,是一种细粒度的Cache,所以NoSQL在这个层面上来说就要性能高很多了。

    灵活的数据模型 
    NoSQL无需事先为要存储的数据建立字段,随时可以存储自定义的数据格式。而在关系数据库里,增删字段是一件非常麻烦的事情。如果是非常大数据量的表,增加字段简直就是一个噩梦。这点在大数据量的web2.0时代尤其明显。

    高可用 
    NoSQL在不太影响性能的情况,就可以方便的实现高可用的架构。比如Cassandra,HBase模型,通过复制模型也能实现高可用。

    总结 
    NoSQL数据库的出现,弥补了关系数据(比如MySQL)在某些方面的不足,在某些方面能极大的节省开发成本和维护成本。 
    MySQL和NoSQL都有各自的特点和使用的应用场景,两者的紧密结合将会给web2.0的数据库发展带来新的思路。让关系数据库关注在关系上,NoSQL关注在存储上。

    关系数据库还是NoSQL数据库

    上一篇简单的说明了为什么要使用NoSQL。接下来我们看下如何把NoSQL引入到我们的项目中,我们到底要不要把NoSQL引入到项目中。

    在过去,我们只需要学习和使用一种数据库技术,就能做几乎所有的数据库应用开发。因为成熟稳定的关系数据库产品并不是很多,而供你选择的免费版本就更加少了,所以互联网领域基本上都选择了免费的MySQL数据库。在高速发展的WEB2.0时代,我们发现关系数据库在性能、扩展性、数据的快速备份和恢复、满足需求的易用性上并不总是能很好的满足我们的需要,我们越来越趋向于根据业务场景选择合适的数据库,以及进行多种数据库的融合运用。几年前的一篇文章《One Size Fits All - An Idea Whose Time Has Come and Gone》就已经阐述了这个观点。

    当我们在讨论是否要使用NoSQL的时候,你还需要理解NoSQL也是分很多种类的,在NoSQL百花齐放的今天,NoSQL的正确选择比选择关系数据库还具有挑战性。虽然NoSQL的使用很简单,但是选择却是个麻烦事,这也正是很多人在观望的一个原因。

    NoSQL的分类

    NoSQL仅仅是一个概念,NoSQL数据库根据数据的存储模型和特点分为很多种类。 
    这里写图片描述

    以上NoSQL数据库类型的划分并不是绝对,只是从存储模型上来进行的大体划分。它们之间没有绝对的分界,也有交差的情况,比如Tokyo Cabinet / Tyrant的Table类型存储,就可以理解为是文档型存储,Berkeley DB XML数据库是基于Berkeley DB之上开发的。

    NoSQL还是关系数据库 
    虽然09年出现了比较激进的文章《关系数据库已死》,但是我们心里都清楚,关系数据库其实还活得好好的,你还不能不用关系数据库。但是也说明了一个事实,关系数据库在处理WEB2.0数据的时候,的确已经出现了瓶颈。

    那么我们到底是用NoSQL还是关系数据库呢?我想我们没有必要来进行一个绝对的回答。我们需要根据我们的应用场景来决定我们到底用什么。

    如果关系数据库在你的应用场景中,完全能够很好的工作,而你又是非常善于使用和维护关系数据库的,那么我觉得你完全没有必要迁移到NoSQL上面,除非你是个喜欢折腾的人。如果你是在金融,电信等以数据为王的关键领域,目前使用的是Oracle数据库来提供高可靠性的,除非遇到特别大的瓶颈,不然也别贸然尝试NoSQL。

    然而,在WEB2.0的网站中,关系数据库大部分都出现了瓶颈。在磁盘IO、数据库可扩展上都花费了开发人员相当多的精力来优化,比如做分表分库(database sharding)、主从复制、异构复制等等,然而,这些工作需要的技术能力越来越高,也越来越具有挑战性。如果你正在经历这些场合,那么我觉得你应该尝试一下NoSQL了。

    选择合适的NoSQL 
    如此多类型的NoSQL,而每种类型的NoSQL又有很多,到底选择什么类型的NoSQL来作为我们的存储呢?这并不是一个很好回答的问题,影响我们选择的因素有很多,而选择也可能有多种,随着业务场景,需求的变更可能选择又会变化。我们常常需要根据如下情况考虑:

    1.数据结构特点。包括结构化、半结构化、字段是否可能变更、是否有大文本字段、数据字段是否可能变化。

    2.写入特点。包括insert比例、update比例、是否经常更新数据的某一个小字段、原子更新需求。

    3.查询特点。包括查询的条件、查询热点的范围。比如用户信息的查询,可能就是随机的,而新闻的查询就是按照时间,越新的越频繁。

    NoSQL和关系数据库结合 
    其实NoSQL数据库仅仅是关系数据库在某些方面(性能,扩展)的一个弥补,单从功能上讲,NoSQL的几乎所有的功能,在关系数据库上都能够满足,所以选择NoSQL的原因并不在功能上。

    所以,我们一般会把NoSQL和关系数据库进行结合使用,各取所长,需要使用关系特性的时候我们使用关系数据库,需要使用NoSQL特性的时候我们使用NoSQL数据库,各得其所。

    举个简单的例子吧,比如用户评论的存储,评论大概有主键id、评论的对象aid、评论内容content、用户uid等字段。我们能确定的是评论内容content肯定不会在数据库中用where content=’’查询,评论内容也是一个大文本字段。那么我们可以把 主键id、评论对象aid、用户id存储在数据库,评论内容存储在NoSQL,这样数据库就节省了存储content占用的磁盘空间,从而节省大量IO,对content也更容易做Cache。

    //从MySQL中查询出评论主键id列表 commentIds=DB.query(“SELECT id FROM comments where aid=’评论对象id’ LIMIT 0,20”); //根据主键id列表,从NoSQL取回评论实体数据 CommentsList=NoSQL.get(commentIds);NoSQL代替MySQL 
    在某些应用场合,比如一些配置的关系键值映射存储、用户名和密码的存储、Session会话存储等等,用NoSQL完全可以替代MySQL存储。不但具有更高的性能,而且开发也更加方便。

    NoSQL作为缓存服务器 
    MySQL+Memcached的架构中,我们处处都要精心设计我们的缓存,包括过期时间的设计、缓存的实时性设计、缓存内存大小评估、缓存命中率等等。

    NoSQL数据库一般都具有非常高的性能,在大多数场景下面,你不必再考虑在代码层为NoSQL构建一层Memcached缓存。NoSQL数据本身在Cache上已经做了相当多的优化工作。

    Memcached这类内存缓存服务器缓存的数据大小受限于内存大小,如果用NoSQL来代替Memcached来缓存数据库的话,就可以不再受限于内存大小。虽然可能有少量的磁盘IO读写,可能比Memcached慢一点,但是完全可以用来缓存数据库的查询操作。

    规避风险 
    由于NoSQL是一个比较新的东西,特别是我们选择的NoSQL数据库还不是非常成熟的产品,所以我们可能会遇到未知的风险。为了得到NoSQL的好处,又要考虑规避风险,鱼与熊掌如何兼得?

    现在业内很多公司的做法就是数据的备份。在往NoSQL里面存储数据的时候还会往MySQL里面存储一份。NoSQL数据库本身也需要进行备份(冷备和热备)。或者可以考虑使用两种NoSQL数据库,出现问题后可以进行切换(避免出现digg使用Cassandra的悲剧)。

    总结 
    本文只是简单的从MySQL和NoSQL的角度分析如何选择,以及进行融合使用。其实在选择NoSQL的时候,你可能还会碰到关于CAP原则,最终一致性,BASE思想的考虑。因为使用MySQL架构的时候,你也会碰到上面的问题,所以这里没有阐述。

    展开全文
  • 关系型数据库管理系统(RDBMS)是建立在关系模型基础上的数据库,主要代表:Microsoft SQL Server,Oracle,MySQL(开源)。 非关系型数据库(NoSQL),主要代表:MongoDB,Redis。 ACID vs BASE ACID...

    简介

    关系型数据库管理系统(RDBMS)是建立在关系模型基础上的数据库,主要代表有:Microsoft SQL Server,Oracle,MySQL(开源)。

    非关系型数据库(NoSQL),主要代表有:MongoDB,Redis。

     

    ACID vs BASE

    ACIDBASE
    原子性(Atomicity)基本可用(Basically Available)
    一致性(Consistency)软状态/柔性事务(Soft state)
    隔离性(Isolation)最终一致性 (Eventual consistency)
    持久性 (Durable) 

     

    ACID

    ACID是关系型数据库强一致性(Strong consistency)的四个要求。

    (1) 原子性(Atomicity):事务里的所有操作要么全都执行完成,要么全都不执行。只要有一个操作失败,整个事务就失败,事务会回滚至它们最初的状态。

    (2) 一致性(Consistency):数据库要一直处于一致的状态,事务的运行不会改变数据库原本的一致性约束。

    (3) 隔离性(Isolation):事务的执行不被其他事务干扰。如果一个事务要访问的数据正在被另外一个事务修改,只要另外一个事务未提交,它所访问的数据就不受未提交事务的影响。

    (4) 持久性(Durable):一旦事务提交后,它所做的修改将会永久的保存在数据库上,即使出现系统故障也不会丢失。

     

    (注:事务(Transaction)是用户定义的一个操作序列。)

     

    BASE

    BASE是基于CAP理论逐步演化而来的,核心思想是即便不能达到强一致性,但是可以根据应用的特点采用适当的方式来达到最终一致性(Eventual consistency)

    (1) 基本可用(Basically Available):分布式系统在出现故障的时候,允许损失部分可用性,即保证核心功能或者当前最重要功能可用。

    (2) 软状态/柔性事务(Soft-state):状态可以有一段时间的不同步。

    (3) 最终一致性(Eventual consistency):当所有服务逻辑执行完成后,系统最后将回到一个一致的状态。

     

    ACID和BASE并没有一个严格的界限,它们取决与组织和系统决定在哪里和如何架构这个系统的场景。它们可能允许在某些关键领域采取严格的ACID事务,其他领域标准稍微放松一些。

     

    区别

    1. 事务控制模型不同

    RDBMS采用ACID模型,而很多NoSQL系统基本采用BASE模型。虽然有些NoSQL系统支持ACID,但只适用于单个条目。NoSQL不采用ACID的主要原因是其可扩展性方面的限制,如果文档横跨几个服务器,事务控制将会很难实施。

    总的来说,RDBMS关注一致性,而NoSQL系统则关注可用性。BASE系统显著的特点是要保证在短时间内,即使有不同步的风险,也要允许新数据能够被存储。BASE系统倾向于简单和迅速,因为它们不必编写处理锁定和释放资源的代码,它们的任务是保证流程运转并稍后处理出错的部分。

     

    2. 数据结构不同

    第一,关系型数据库通常是以表格形式(行列)存储数据,而NoSQL系统有多种存储方式,包括列存储(Cassandra)、key/value存储(Redis)、文档存储(MongoDB)以及图存储(Neo4j)等。

    第二,若要在关系型数据库中存储数据,必须先定义好模式(schemas),也就是用一种预定义的结构向数据库说明:要有哪些表格,表中有哪些列,每一列都存放何种类型的数据。相比之下,NoSQL数据库的数据存储就比较随意了。键值数据库可以把任何数据存放在一个”键”的名下。文档数据库实际上也如此,它对所存储的文档结构没有限制。

     

    3. 可扩展性不同

    第一,在关系型数据库里,增删字段是一件非常麻烦的事情。比如如果想删除某列,如果此列和其他数据关联,那么就无法轻易删除。NoSQL因为数据之间无关系,因此非常容易扩展。一旦发现了新东西,只要把它们加入数据库中就好。

    第二,从架构的层面上讲,RDBMS是垂直扩展,当RDBMS数据库负载增加时,需要用更大更好的服务器来扩展数据库(因为RDBMS需要支持join,union等操作,一般不支持分布式集群)。而NoSQL数据库是横向扩展,可以自动对数据进行分片,并将分片存储在分布式系统(distributed system)上,这样,就可以通过增加更多的服务器来进行扩展。

     

    4. 数据读写速度不同

    当关系型数据库的数据量达到一定规模时,由于关系型数据库的系统逻辑非常复杂,使得其非常容易发生死锁等并发问题,导致其读写速度下滑非常严重。而NoSQL数据库得益于它的数据库结构非常简单,且具有良好的集成缓存能力,读写性能非常好。

     

    5. 成熟度不同

    关系型数据库使用SQL语言,各种数据库之间的区别非常小。而NoSQL数据库没有统一的标准,其产品包括各种不同存储类型的数据库。 

     

    6. 成本不同

    第一,关系型数据库软件价格昂贵,而NoSQL数据库基本都是开源软件,不需要花费大量成本购买使用,相比关系型数据库价格便宜。

    第二,由于ACID模型非常复杂,维持高端的RDBMS系统是很昂贵的,需要训练有素的人管理数据库。而NoSQL数据库部署简单,通常使用廉价的服务器,管理也较少。

     

    以下再摘录一份MongoDB官网上的资料:https://www.mongodb.com/nosql-explained

    NoSQL vs. SQL Summary

     

    SQL Databases

    NoSQL Databases

    Types

    One type (SQL database) with minor variations

    Many different types including key-value stores, document databases, wide-column stores, and graph databases

    Development History

    Developed in 1970s to deal with first wave of data storage applications

    Developed in late 2000s to deal with limitations of SQL databases, especially scalability, multi-structured data, geo-distribution and agile development sprints

    Examples

    MySQL, Postgres, Microsoft SQL Server, Oracle Database

    MongoDB, Cassandra, HBase, Neo4j

    Data Storage Model

    Individual records (e.g., 'employees') are stored as rows in tables, with each column storing a specific piece of data about that record (e.g., 'manager,' 'date hired,' etc.), much like a spreadsheet. Related data is stored in separate tables, and then joined together when more complex queries are executed. For example, 'offices' might be stored in one table, and 'employees' in another. When a user wants to find the work address of an employee, the database engine joins the 'employee' and 'office' tables together to get all the information necessary.

    Varies based on database type. For example, key-value stores function similarly to SQL databases, but have only two columns ('key' and 'value'), with more complex information sometimes stored as BLOBs within the 'value' columns. Document databases do away with the table-and-row model altogether, storing all relevant data together in single 'document' in JSON, XML, or another format, which can nest values hierarchically.

    Schemas

    Structure and data types are fixed in advance. To store information about a new data item, the entire database must be altered, during which time the database must be taken offline.

    Typically dynamic, with some enforcing data validation rules. Applications can add new fields on the fly, and unlike SQL table rows, dissimilar data can be stored together as necessary. For some databases (e.g., wide-column stores), it is somewhat more challenging to add new fields dynamically.

    Scaling

    Vertically, meaning a single server must be made increasingly powerful in order to deal with increased demand. It is possible to spread SQL databases over many servers, but significant additional engineering is generally required, and core relational features such as JOINs, referential integrity and transactions are typically lost.

    Horizontally, meaning that to add capacity, a database administrator can simply add more commodity servers or cloud instances. The database automatically spreads data across servers as necessary.

    Development Model

    Mix of open-source (e.g., Postgres, MySQL) and closed source (e.g., Oracle Database)

    Open-source

    Supports multi-record ACID transactions

    Yes

    Mostly no. MongoDB 4.0 and beyond support multi-document ACID transactions. Learn more

    Data Manipulation

    Specific language using Select, Insert, and Update statements, e.g. SELECT fields FROM table WHERE…

    Through object-oriented APIs

    Consistency

    Can be configured for strong consistency

    Depends on product. Some provide strong consistency (e.g., MongoDB, with tunable consistency for reads) whereas others offer eventual consistency (e.g., Cassandra).

     

    结论

    传统的关系型数据库具有不错的性能,稳定性好,久经历史考验,积累了大量的成功案例。而NoSQL数据库的出现,则弥补了关系型数据库在某些方面的不足,能极大地节省开发成本和维护成本。
     
    两者都有各自的特点和应用场景,将由你的应用业务需求决定适合使用传统的RDBMS还是NoSQL系统。
     
    对于金融业,可用性和性能都不是最重要的,而一致性是最重要的,用户可以容忍系统故障而停止服务,但绝不能容忍帐户上的钱无故减少(当然,无故增加是可以的),此外,金融业还要求所有报表必须始终保持一致性和可信性,因此RDBMS ACID系统是理想的选择。
     
    而对于购物网站,可用性是最重要的,如果用户生成订单,不管什么情况,我们都不希望此信息受到阻塞。此外,用户的个人信息,社交网络,地理位置等用户生成的数据呈几何倍增长,如果要对这些用户数据进行挖掘,那SQL数据库已经不适合了, NoSQL数据库却能很好地处理这些大数据。
     
    当然也可以把关系型数据库和NoSQL结合起来使用,各取所长,需要使用关系特性的时候就使用关系型数据库,需要使用NoSQL特性的时候我们使用NoSQL数据库。比如用户评论的存储,评论大概有主键id、评论的对象aid、评论内容content、用户uid等字段。我们能确定的是评论内容content肯定不会在数据库中用where content="..."查询,评论内容也是一个大文本字段,那么我们可以把主键id、评论对象aid、用户uid存储在关系型数据库,评论内容存储在NoSQL,这样关系型数据库就节省了存储content占用的磁盘空间,从而节省大量IO。
     
    此外,还可以把NoSQL作为缓存服务器,把热点数据进行内存cache,非热点数据存储到磁盘以节省内存占用。
     

    转载于:https://www.cnblogs.com/HuZihu/p/10233242.html

    展开全文
  • 关系型数据库与NoSql数据库 什么是NoSQL Not Only SQL,其含义是:适合关系型数据库的时候就是用关系型数据库,不适用的时候也没必要非得使用关系型数据库不可,可以考虑使用更加合适的数据存储。 为弥补关系...
  • 关系型数据库与NoSql数据库的比较

    千次阅读 2020-02-08 18:32:11
    一、关系型数据库与NoSql数据库的比较 1、并发支持 关系型数据库:通过事务和锁来支持并发,高并发情况下,执行效率较低。 NoSql:打破了传统关系型数据库范式的约束和事务一致性,因此并发性能高。 2、存储与查询 ...
  • 结构化查询语言关系型数据库的优缺点NoSQL数据库的优势哪些?分布式数据库哪些特点?CAP理论是什么?相互关系ACID原则是什么?BASE原理与最终一致性NoSQL数据库哪些?内存数据库是什么?Memcached入门教程...
  • 关系型数据库遵循ACID规则(原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)),而...关系型数据库通常SQL Server,Mysql,Oracle。主流的Nosql数据库redis,memcache,MongoDb。
  • 在现在计算机系统上每天都会产生庞大数据量,这些数据很大一部分是由关系型数据库管理系统(RDMBSs)来处理。1970年E.F.Codd's提出关系模型论文,通过应用实践证明,关系型是非常适合于客户服务器编程,远远超出预期的...
  • 关系型数据库中的表都是存储一些格式化的数据...而非关系型数据库以键值对存储,它的结构不固定,每一个元组可以不一样的字段,每个元组可以根据需要增加一些自己的键值对,这样就不会局限于固定的结构,可以减少一
  • 在Android平台上,集成了一个嵌入式关系型数据库—SQLite, 1、SQLite3支持 NULL、INTEGER、REAL(浮点数字)、TEXT(字符串文本)和BLOB(二进制对象)数据类型,虽然它支持的类型虽然只有五种,但实际上sqlite3也...
  • 常用数据库的种类与特点

    千次阅读 2019-03-01 20:30:39
    早期数据库模型三种,分别为层次式数据库、网络式数据库和关系型数据库。 而在当今的互联网中,通常把数据库分为两类,即关系型数据库和非关系型数据库关系型数据库与实例 关系型数据库是指采用了关系模型来...
  • 常用的数据库哪些?redis用过吗? 常见的主流数据库(DBMS...关系型数据库 MySQL数据库 Microsoft SQL Server数据库 Oracle数据库 Postgresql数据库 Sybase数据库 DB2数据库 Access数据库 非关系型数据库 Mong...
  • 浅析关系数据库和NoSql非关系数据库

    千次阅读 2015-08-19 18:54:00
    关系数据库在经过二十几年的发展,已经变的功能强大,使用广泛,产品成熟的数据库系统,现在使用主流的数据库都为关系型数据库,比较熟悉的如SQL Server、Mysql、Oracle、Sybase、Informix、DB2等。在网络上使用比较...
  • 本篇关于文摘型数据库的常用知识常用文摘型数据库文摘数据库文摘数据库的特点和作用著名的中外文文摘数据库Web of Science 检索与利用SCIESSCI合理的创建标题,助于目录的生成如何改变文本的样式插入链接与图片...
  • 数据库试题

    千次阅读 2019-05-27 19:42:22
    关系型数据库的最大特点就是事务的一致性 D.关系型数据库的不足:大量数据的操作,字段的不固定,对表的索引以及表机构的更新 2,(单选题)mysql中可以为多个字段设置索引,但是对应字段的值不可以相同,且允许空值...
  • mongodb与mysql传统的关系数据库区别

    千次阅读 2017-05-06 22:14:54
    mongodb与mysql命令对比 传统的关系数据库一般由数据库(database)、表...MongoDB对于关系型数据库里的表,但是集合中没有列、行和关系概念,这体现了模式自由的特点。MongoDB设计模式的一些考虑可根据用户要求设
  • 关系数据库系列文章之到底什么是关系(一)

    千次阅读 多人点赞 2018-08-05 02:28:45
    在语言X中如何实现Y,像这种具体的只是(know-how)可快速提高你的工作效率。但是一旦语言发生变化,这种知识就无法再使用。... 作为程序员,在日常的开发中,我们避免不了的就要接触数据库这个概念,而关系...
  • 计算机不能直接处理现实世界中的具体事物,所以需要先将具体事物转换成计算机所能处理的数据,这就是数据库的数据模型。 一张图了解数据模型分类! 信息的三种世界: 现实世界——客观存在 信息世界(概念...
  • 关系数据库标准SQL语言

    千次阅读 2007-10-21 14:29:00
    关系数据库标准SQL语言SQL(Structured Query Language)的特点 SQL语言集数据查询(Data Query)、数据管理(Data Manipulation)、数据定义(Data Defination)和数据控制(Data Control)功能于一体.一) 综合统一 SQL...
  • 数据库-MySQL篇

    2020-04-17 19:03:23
    MySQL属于传统关系型数据库产品,关系型数据库特点就是将数据存在不同的表中,再将这些表放在不同的数据库里,而不是所有数据统一放在一个大仓库里,这样的设计增加了MySQL的读取速度,,灵活性和管理性也得到了...
  • 实时数据库简介

    千次阅读 2013-07-19 18:56:17
    实时数据库简介 ...早期,关系型数据库与层次型数据库、网络型数据库并驾齐驱,但关系型数据库依靠其描述简单、实现容易等特点,在竞争中取得了胜利,在上世纪90年代初期,从Foxpro、Access到Oracle、Informix、S
  • NoSQL数据库入门概述

    2017-08-23 18:33:20
    关系型数据库与NoSql数据库 什么是NoSQL Not Only SQL,其含义是:适合关系型数据库的时候就是用关系型数据库,不适用的时候也没必要非得使用关系型数据库不可,可以考虑使用更加合适的数据存储。 为弥补关系型...
  • 数据库

    千次阅读 2014-04-14 12:42:22
    1 基本简介  数据库(Database)是按照数据结构来组织、...数据库有很多种类型,从最简单的存储各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。 2 主要特点 2.1 数据整体性
  • 何谓SQL Server数据库?与Access数据库有什么区别

    千次阅读 热门讨论 2012-08-07 20:33:57
    它与Access数据库有什么区别呢?  Access是由微软发布的关联式数据库管理系统。它结合了Microsoft Jet Database Engine和图形用户界面两项特点,是Microsoft Office的系统程序之一。Access具有
  • 常见的数据库有哪几种?

    万次阅读 2020-06-01 10:58:29
    SQL(StructuredQueryLanguage,结构化查询语言)是一种数据库查询语言和程序设计语言,主要用于管理数据库中的数据,如存取数据、查询数据、更新数据等。 SQL是IBM公司于1975—1979年之间开发出来的,在20世纪随着...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 22,321
精华内容 8,928
关键字:

关系型数据库有何特点