精华内容
下载资源
问答
  • 一、数据库种类有哪些早期较为时兴的数据库种类有三种,分别是层次式数据库、网络式数据库和关系型数据库。而在如今互联网中,最常见的数据库种类主要有2种,即关系型数据库和非关系型数据库。二、层次数据库介绍...

    一、数据库种类有哪些

    早期较为时兴的数据库种类有三种,分别是层次式数据库、网络式数据库和关系型数据库。而在如今的互联网中,最常见的数据库种类主要有2种,即关系型数据库和非关系型数据库。

    二、层次数据库介绍

    层次数据库是最开始研制的数据库系统软件,它把数据根据层次构造(树结构)的方法呈现。层次数据库以前是非常热门的数据库,但伴随着关系数据库的逐渐流行,如今早已非常少应用了。

    较为具备象征性的层次数据库是IMS(Information Management System)数据库,由IBM企业研发。

    三、关系型数据库详细介绍

    网络数据库和层次数据库在数据独立性和抽象性级別上有所欠缺,用户开展存储时,需要声明数据的存储结构和相对路径。而关系数据库就可以较切实解决这种问题。

    和Excel工作簿一样,关系型数据库也选用由列和行构成的二维表来管理数据,简单易懂。另外,它还利用SQL(Structured Query Language,结构化查询语言)对数据开展实际操作。

    四、非关系型数据库详细介绍

    伴随着互联网技术Web2.0的兴起,传统关系型数据库在应对大数据量,比如大规模和高并发的微博、微信或者SNS类型的web2.0动态网页时,已经有些力不从心,曝露了许多难以克服的难题。因此出现了针对大规模数据量场景,以性能卓越和应用便捷为目的的的数据库产品——NOSQL数据库。

    非关系型数据库主要是根据“非关系实体模型”的数据库,也称之为NoSQL数据库,NOSQL的原意是“Not only SQL”,而不是“NoSQL”的含意,因而,NoSQL的出现并不是要完全否认关系型数据库,只是做为传统关系型数据库的一个合理补充。NOSQL数据库在特殊的情景下能够充分发挥出无法想象的高效率和卓越性能。

    非关系型数据库还能够细分化为四个小项:

    键值(Key-Value)储存数据库;

    列储存(Column-oriedted)数据库;

    面向文本文档(Document-Oriented)数据库;

    图型(Graph)数据库。

    五、不同种类数据库应用领域区别

    在数据库应用角度来区分的话,数据库还可以分为面向操作型和面向数据分析型,以下是根据实际应用场景的不同对数据库的简单的介绍。

    1.面向操作的关系型数据库

    典型性应用领域:ERP,CRM,信用卡交易,中小型电商

    数据储存方法:表格

    流行厂商:Oracle Database,Microsoft SQLServer,IBM DB2,EnterpriseDB(PostgreSQL),MySQL

    优点:完善的生态环境保护,事务保证/数据一致性

    缺点:严苛的数据模型界定,数据库拓展限制,和非结构型的结合应用较难。

    2.面向数据分析的关系型数据库

    典型性应用领域:数据仓库,商务智能,数据科学研究

    数据储存方法:表格

    流行厂商:Oracle Exadata,Oracle Hyperion,Teradata,IBM Netezza,Google BigQuery

    优点:信息内容和计算的一致性

    缺点:必须由数据库技术专业的IT工作人员维护保养,数据相应通常是分钟级

    3.面向操作的非关系型数据库

    典型性应用领域:Web,mobile,and IoT applications,social networking,user recommendations,shopping carts

    数据储存方法:有很多存储结构(document,graph,column,key-value,time series)

    流行厂商:MongoDB,Amazon DynamoDB,Amazon,Redis

    优点:便捷性,协调能力(不用预定义的方式),水平伸缩(适应大规模数据量),成本低(开源系统)

    缺点:欠缺事务保证

    4.面向数据分析的非关系型数据库

    典型性应用领域:索引数以百万计的数据点,预测分析,诈骗检验

    数据储存方法:Hadoop不用原有的数据构造;数据能够跨好几个服务器存储

    流行厂商:Cloudera,Hortonworks,MapR,MarkLogic,Snowflake,DataBricks,ElasticSearch

    优点:适用批量处理,并行处理文件;主要是开源的,资金投入较低

    缺点:迟缓的响应速度;不宜迅速检索或高速更新

    展开全文
  • Mysql 常见三种存储引擎 innoDB存储引擎 MyISAM存储引擎 MEMORY存储引擎** innoDB存储引擎特点及优缺点 innoDB存储引擎支持自动增长列(auto_increment) innoDB存储引擎中支持外键(foreign key) 优点: 提供良好...

    Mysql 常见三种存储引擎

    • innoDB存储引擎
    • MyISAM存储引擎
    • MEMORY存储引擎**

    innoDB存储引擎特点及优缺点

    innoDB存储引擎支持自动增长列(auto_increment)
    innoDB存储引擎中支持外键(foreign key)

    优点: 提供良好的事务管理、崩溃修复能力和并发控制

    缺点:其读写效率稍差,占用的数据空间相对比较大

    MyISAM存储引擎特点及优缺点

    MyISAM存储引擎文件类型
    frm:存储表的结构
    myd: 存储数据
    myi: 存储索引
    MyISAM存储引擎的存储格式
    MyISAM静态
    MyISAM动态
    MyISAM压缩

    优点: 占用空间小,处理速度快

    缺点:不支持事务的完整性和并发性

    MEMORY存储引擎特点及优缺点

    MEMORY存储引擎是MySQL中的一类特殊的存储引擎。其使用存储在内存中的内容来创建表,而且所有数据也放在内存中

    优点: 处理速度非常快

    缺点:其数据易丢失,生命周期短

    如何选择存储引擎

    innoDB存储引擎:用于事务处理应用程序,具有众多特性,包括ACID事务支持,支持外键,同时支持崩溃修复能力和并发控制。
    适用于对事务完整性要求比较高,要求并发控制,需要频繁进行更新、删除操作的数据库

    MyISAM存储引擎:主要用于非事务表,它提供高速存储和检索,以及全文搜索能力。
    适应于表主要用于插入新记录和读出记录,应用完整性、并发性要求很低

    MEMORY存储引擎:提供“内存“表,所有数据都在内存中,数据的处理速度快。但安全性不高
    适应于需要很快读写速度,对数据的安全性要求较低,使用相对较小的数据库表

    展开全文
  • 三种mysql数据库引擎

    2020-07-24 16:46:23
    MySQL常见的三种存储引擎(InnoDB、MyISAM、MEMORY)的区别(至少5点)? 存储引擎就是指 表的类型以及表在计算机上的存储方式。 一、InnoDB存储引擎   InnoDB给MySQL的表提供了事务处理、回滚、崩溃修复能力和...

    mysql数据库是最常见的数据库,也是我们熟悉并经常操作的数据库,但是我们不应该只是停留在了解的阶段,我们要深入的理解数据库的内部功能和构造。

    今天就来看一下数据库的引擎:

    MySQL常见的三种存储引擎(InnoDB、MyISAM、MEMORY)的区别(至少5点)?

    存储引擎就是指 表的类型以及表在计算机上的存储方式。

    一、InnoDB存储引擎
      InnoDB给MySQL的表提供了事务处理、回滚、崩溃修复能力和多版本并发控制的事务安全。

      InnoDB存储引擎总支持AUTO_INCREMENT。自动增长列的值不能为空,并且值必须唯一。MySQL中规定自增列必须为主键。在插入值的时候,如果自动增长列不输入值,则插入的值为自动增长后的值;如果输入的值为0或NULL,则插入的值也是自动增长后的值;如果插入某个确定的值,且该值在前面没有出现过,就可以直接插入。

      InnoDB还支持外键(FOREIGN KEY)。外键所在的表叫做子表,外键所依赖的表叫做父表。父表中被子表外键关联的字段必须为主键。当删除、更新父表中的某条信息时,子表也必须有相应的改变,这是数据库的参照完整性规则。

      InnoDB中,创建的表的表结构存储在*.frm*文件中。数据和索引存储在innodb_data_home_dir和innodb_data_file_path定义的表空间中。

      InnoDB的优势在于 提供良好的事务处理、崩溃修复能力和并发控制
      缺点在于读写效率较差,占用的数据空间相对较大。

    二、MyISAM存储引擎

      MyISAM的表存储成3个文件。文件的名字与表相同。拓展名为frm、MYD、MYI。其中,frm文件存储表的结构;MYD文件存储数据,是MYData的缩写;MYI文件存储索引,是MYIndex的缩写。

      基于MyISAM的存储引擎的表支持三种不同的存储格式。包括静态型、动态型和压缩型。其中静态型是MyISAM的默认存储格式,它的字段是固定长度的;动态型包含变长字段,记录的长度不是固定的;压缩型需要用到myisampack工具,占用的磁盘空间较小。

      MyISAM的优势在于占用空间小,处理速度快。缺点是不支持事务的完整性和并发性。

    三、MEMORY存储引擎

      MEMORY是MySQL中一类特殊的存储引擎。它使用存储在内存中的内容来创建表,而且数据全部放在内存中。
      每个基于MEMORY存储引擎的表实际对应一个磁盘文件。该文件的文件名与表名相同,类型为frm类型,该文件中只存储表的结构,而其数据文件,都存储在内存中,这样有利于数据的快速处理,提高整个表的效率。

    注意: MEMORY用到的很少,因为它是把数据存到内存中,如果内存出现异常就会影响数据。如果重启或者关机,所有数据都会消失。因此,基于MEMORY的表的生命周期很短,一般是一次性的。

    四、三种存储引擎的对比和特点

    存储引擎的对比


    &mesp;&mesp;InnoDB: 支持事务处理,支持外键,支持崩溃修复能力和并发控制。如果需要对事务的完整性要求较高(比如银行),要求实现并发控制(比如售票),那么选择InnoDB有很大的优势。如果需要频繁的更新、删除操作的数据库,也可以选择InnoDB,因为支持事务的提交和回滚。

    &mesp;&mesp;MyISAM:插入数据快,空间和内存使用比较低。如果表的主要是用于插入新纪录和读出数据,那么选择MyISAM能实现处理高效率。如果应用的完整性、并发性要求比较低,也可以使用。

    &mesp;&mesp;MEMORY:所有数据都在内存中,数据的处理速度快,但是安全性不高。如果需要很快的读写速度,对数据的安全性要求较低,可以选择MEMORY。它对表的大小有要求,不能建立太大的表。所以这类数据库只使用在相对较小的数据库表。

    **注意:**同一个数据库也可以使用多种存储引擎的表。如果一个表要求比较高的事务处理,可以选择InnoDB。这个数据库中可以将查询要求比较高的表选择MyISAM存储。如果该数据库需要一个用于查询的临时表,可以选择MEMORY存储引擎。
     

    展开全文
  • 缓慢渐变类型三 Type 3 SCD总结其它相关文章PS 说明 在从 OLTP 业务数据库向 DW 数据仓库抽取数据过程中,特别是第一次导入之后每一次增量抽取往往会遇到这样问题:业务数据库一些数据发生了...

    目录(?)[+]

    在从 OLTP 业务数据库向 DW 数据仓库抽取数据的过程中,特别是第一次导入之后的每一次增量抽取往往会遇到这样的问题:业务数据库中的一些数据发生了更改,到底要不要将这些变化也反映到数据仓库中?在数据仓库中,哪些数据应该随之变化,哪些可以不用变化?考虑到这些变化,在数据仓库中的维度表又应该如何设计以满足这些需要。

    很显然在业务数据库中数据的变化是非常自然和正常的,比如顾客的联系方式,手机号码等信息可能随着顾客的所在地的更改发生变化,比如商品的价格在不同时期有上涨和下降的变化。那么在业务数据库中,很自然的就会修改并马上反映到实际业务当中去。但是在数据仓库中,其数据主要的特征一是静态历史数据,二是少改变不删除,三是定期增长,其作用主要用来数据分析。因此分析的过程中对历史数据就提出了要求,有一些数据是需要能够反映出在周期内的变化历史,有一些数据缺不需要,那么这些数据应该如何来控制。

    假设在第一次从业务数据库中加载了一批数据到数据仓库中,当时业务数据库有这样的一条顾客的信息。

    顾客 BIWORK ,居住在北京,目前是一名 BI 的开发工程师。假设 BIWORK 因为北京空气质量 PM2.5 等原因从北京搬到了三亚。那么这条信息在业务数据库中应该被更新了 -

     

    那么当下次从业务数据库中抽取这类信息的时候,数据仓库又应该如何处理呢?我们假设在数据仓库中实现了与业务数据库之间的同步,数据仓库中也直接将词条数据修改更新。后来我们创建报表做一些简单的数据统计分析,这时在数据仓库中所有对顾客 BIWORK 的销售都指向了 BIWORK 新的所在地 - 城市三亚,但是实际上 BIWORK 在之前所有的购买都发生在 BIWORK 居住在北京的时候。这是一个非常简单的例子,它描述了因一些基本信息的更改可能会引起数据归纳和分析出现的问题。但是有时,这种场景的的确确可能是存在的。

    为了解决类似于这样的问题需要了解数据仓库中的一个非常重要的概念 - 缓慢渐变维度

    缓慢渐变类型一 (Type 1 SCD)

    在数据仓库中,我们可以保持业务数据和数据仓库中的数据始终处于一致。可以在 Customer 维度中使用来自业务数据库中的 Business Key - CustomerID 来追踪业务数据的变化,一旦发生变化那么就将旧的业务数据覆盖重写。

    DW 中的记录根据业务数据库中的 CustomerID 获取了最新的 City 信息,直接更新到 DW 中。

    缓慢渐变类型二 (Type 2 SCD)

    当然在数据仓库中更多是对相对静态的历史数据进行数据的汇总和分析,因此会尽可能的维护来自业务系统中的历史数据,能够真正捕获到这种历史数据的变化。以上面的例子来说,可能需要分析的结果是 BIWORK 在 2012年的时候购买额度整体平稳,但是从2013年开始购买额度减少了,出现的原因可能与所在的城市有关系,在北京的门店可能比在三亚的门店相对要多一些。像这种情况,就不能很简单在数据仓库中将 BIWORK 当前所在城市直接更新,而应该新增加一条数据来说明现在 BIWORK 所在地是在 Sanya。

    但是如果仅仅在 DW 中新增一条新的数据仍然会出现新的问题,因为在 DW 中标识这个顾客是通过 CustomerID 来实现的,这条 CustomerID 来源于业务数据库,它是唯一的。然而在 DW 中新增一条数据来保存业务数据库中历史信息,就无法保证这条数据在 DW 中的唯一性了,其它的 DW 数据表关联到这张表就无法知道应该如何引用这个 Customer 的信息。实际上,如果 CustomerID 在 DW 中也作为主键来唯一标识 Customer 的话,在插入新数据的时候就会发生失败。

    因此我们需要继续保持 Business Key 业务键,因为它是关联到业务数据库的唯一纽带。做出改变的部分就是新增加一个 Key,一个数据仓库的键。在数据仓库的术语里面,这个唯一标识数据仓库表记录的键我们称之为 Surrogate Key 代理键,通常设置为DW表的主键。

    在上面这张表中,其中 -

    CustomerID - Business Key 业务键,用来连接业务数据库和数据仓库的键,注意无论在业务数据库还是数据仓库无论任何时候都不应该发生改变。DWID - Surrogate Key 代理键,一般设置为 DW 维度表的主键,用来在数据仓库内部中的维度表和事实表建立关联。

    为什么使用代理键,有什么好处?

    • 假设我们的业务数据库来自于不同的系统,对这些数据进行整合的时候有可能出现相同的 Business Key,这时通过 Surrogate Key 就可以解决这个问题。
    • 一般来自业务数据库中的 Business Key 可能字段较长,比如 GUID,长字符串标识等,使用Surrogate Key 可以直接设置成整形的。事实表本身体积就很大,关联 Surrogate Key 与关联 Business Key 相比,Surrogate Key 效率更高,并且节省事实表体积。
    • 最重要的一点就是上面举到的这个例子,使用 Surrogate Key 可以更好的解决这种缓慢渐变维度,维护历史信息记录。

    什么时候可以不用代理键?我觉得可以结合我们的实际业务,比如像有些业务表本身的 Business Key 就已经是整形的了,并且表中的属性基本上不随着时间或地理发生改变。比如像某些国家名称,地区编号编码等等基本上不会怎么发生改变,即使改变了也不需要维护历史记录这样的情况下可以直接使用业务数据库中的 Business Key 而不需要设置新的 Surrogate Key。

    接着上面的表结构讲,光这样设置了新的 Surrogate Key - DWID 是不够的,因为还需要告诉数据仓库哪一条信息是现在正在使用的。当然可以根据 DWID 的顺序来查出最新的记录,但是每次都要比较 CustomerID 然后找出最大的 DWID 这样的查询比较麻烦。

    因此可以额外一个标志表示这条数据是最新更改的。

    另外的一种方式就是通过起始时间来标识,Valid To 为 NULL 的标识当前数据。

     

    当然,也有将两者都综合的。

    还有一种情况就是混合使用 Type 1 和 Type 2 的,比如说 Occupation 这个字段在业务数据库中发生了变化,但是可以不用维护这个历史信息,因此可能的做法是直接将最新的 Occupation 在数据仓库中覆盖掉。

    根据实际情况,还有一种做法就是全部覆盖掉。

    缓慢渐变类型三 (Type 3 SCD)

    实际上 Type 1 and 2 可以满足大多数需求了,但是仍然有其它的解决方案,比如说 Type 3 SCD。 Type 3 SCD 希望只维护更少的历史记录,

    比如说把要维护的历史字段新增一列,然后每次只更新 Current Column 和 Previous Column。这样,只保存了最近两次的历史记录。但是如果要维护的字段比较多,就比较麻烦,因为要更多的 Current 和 Previous 字段。所以 Type 3 SCD 用的还是没有 Type 1 和 Type 2 那么普遍。

     

    总结

    Type 1 SCD - 不记录历史数据。一切不需要维护的历史数据都可以选择 Type 1 ,假设地理信息中的国家名称发生更改,像这种数据基本上不需要维护的话,那么就直接使用 Type 1 SCD 覆盖旧的国家名称。 Type 2 SCD - 添加新的数据。使用的比较常见,基本上除了 Type 1 SCD 之外的情形都会优先考虑 Type 2 SCD。 Type 3 SCD - 添加历史列。不会追踪所有的历史记录,只会追踪上一次的历史信息。这种情况往往介于 Type 1 和 Type 2 的时候会考虑,需要记录历史数据,但是又不需要记录那么多。

    其它的相关文章

    PS 说明

    在不同的工具中对 SCD 的实现是不一样的,比如在微软 SSIS SCD 控件的设计当中对 SCD 的实现包括 Kimball 的书等等 :

    • Type 0 - Fixed Attribute 不变化的属性。
    • Type 1 - Changing Attribute 可变化的属性,会重写数据。
    • Type 2 - Historical Attribute 历史属性。

    所以和我这里介绍到的三种 Type SCD 基本类型在原型和概念实现上有一些区别,这一点希望大家不要混淆,关注的重点应该是具体的实现方式和解决思路的原型。

    展开全文
  • PostgreSQL 数据库的数据类型和运算符

    千次阅读 2018-05-22 11:53:08
    数据库的数据类型和运算符一、数据库的介绍1、整数类型创建一张表,三种不同的日期格式2、浮点数类型Postgresql也支持sql的标准表的语法,float和float(p)用于声明非精确的数值类型。3、任意精度类型4、日期与时间...
  • 在从 OLTP 业务数据库向 DW 数据仓库抽取数据过程中,特别是第一次导入之后每一次增量抽取往往会遇到这样问题:业务数据库一些数据发生了更改,到底要不要将这些变化也反映到数据仓库中?在数据仓库中,...
  • 在从 OLTP 业务数据库向 DW 数据仓库抽取数据过程中,特别是第一次导入之后每一次增量抽取往往会遇到这样问题:业务数据库一些数据发生了更改,到底要不要将这些变化也反映到数据仓库中?在数据仓库中...
  • 文章目录Mysql 8数据库学习的目的数据库的三种模型层次模型网状模型关系模型Mysql 8 常见问题安装window时遇到的一些问题安装Linux时遇到的一些问题连接数据库在系统终端中工具中 Mysql 8 数据库学习的目的 1.数据可...
  • 在从OLTP业务数据库向DW数据仓库抽取数据过程中,特别是在第一次导入之后每一次增量抽取往往会遇到这样问题:业务数据库一些数据发生了更改,到底要不要将这些变化也反映到数据仓库中?在数据仓库中,哪些...
  • 在从 OLTP 业务数据库向 DW 数据仓库抽取数据过程中,特别是第一次导入之后每一次增量抽取往往会遇到这样问题:业务数据库一些数据发生了更改,到底要不要将这些变化也反映到数据仓库中?在数据仓库中,...
  • 一、表:它数据类型有字符串,数字和日期三种类型;字符串类型分为char,varchar2/varchar;数字分为整数number(长度),小数number(总长度,小数位数)和不限number;日期类型为date. 在创建表过程中,必须要...
  • 在从 OLTP 业务数据库向 DW 数据仓库抽取数据过程中,特别是第一次导入之后每一次增量抽取往往会遇到这样问题:业务数据库一些数据发生了更改,到底要不要将这些变化也反映到数据仓库中?在数据仓库中,...
  • Ringtone种类型三种形式

    千次阅读 2017-12-05 15:34:54
    Ringtone 两中类型三种形式 两种类型 三种形式 最常见的uri形式 Settings数据库uri形式 Android 44以后增加了document uri 返回给RingtonePickerActivityuri处理 authority是settings authority是...
  • 在从 OLTP 业务数据库向 DW 数据仓库抽取数据过程中,特别是第一次导入之后每一次增量抽取往往会遇到这样问题:业务数据库一些数据发生了更改,到底要不要将这些变化也反映到数据仓库中?在数据仓库中...
  • 数据库常见面试题

    2018-11-01 00:03:36
    数据库三种范式 第一范式(1NF):数据库表中字段都是单一属性,不可再分。这个单一属性由基本类型构成,包括整型、实数、字符型、逻辑型、日期型等。 第二范式(2NF):数据库表中不存在非关键字段对任一...
  • Thinkphp mysql mysqli pdo三种链接数据库方式,mysql链接数据库最为常见,ThinkPHP底层有DB类,只需要传递相应配置参数给,就可以链接数据库 1,mysql 链接数据库方式 //数据库配置信息 'DB_TYPE' => '...
  • 在从 OLTP 业务数据库向 DW 数据仓库抽取数据过程中,特别是第一次导入之后每一次增量抽取往往会遇到这样问题:业务数据库一些数据发生了更改,到底要不要将这些变化也反映到数据仓库中?在数据仓库中...
  • 在从OLTP业务数据库向DW数据仓库抽取数据过程中,特别是第一次导入之后每一次增量抽取往往会遇到这样问题:业务数据库一些数据发生了更改,到底要不要将这些变化也反映到数据仓库中?在数据仓库中,哪些...
  • 简单来说,存储引擎就是指表的类型以及表在计算机上存储方式。存储引擎概念是MySQL特点,Oracle中没有专门存储引擎概念,Oracle有OLTP和OLAP模式区分。不同存储引擎决定了MySQL数据库表可以用不同...
  • 简单来说,存储引擎就是指表的类型以及表在计算机上存储方式。  存储引擎概念是MySQL特点,Oracle中没有专门存储引擎概念,Oracle有OLTP和OLAP模式区分。不同存储引擎决定了MySQL数据库表可以用...
  • 原标题:MySQL常见的三种存储引擎简单来说,存储引擎就是指表的类型以及表在计算机上的存储方式。存储引擎的概念是MySQL的特点,Oracle中没有专门的存储引擎的概念,Oracle有OLTP和OLAP模式的区分。不同的存储引擎...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 505
精华内容 202
关键字:

常见数据库的三种类型