精华内容
下载资源
问答
  • 云关系数据库(Relational Database Service,RDS) https://support.huaweicloud.com/rds/inde...

    云关系型数据库(Relational Database Service,RDS)


    https://support.huaweicloud.com/rds/index.html


    关系型数据库 (Relational Database Service,简称RDS)是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。 关系型数据库 支持 MySQL PostgreSQL SQL Server 引擎。

    华为云关系型数据库服务具有完善的性能监控体系和多重安全防护措施,并提供了专业的数据库管理平台, 让用户能够在云中轻松的进行设置和扩展关系型数据库。通过华为云关系型数据库服务的管理控制台,用户几乎可以执行所有必需任务而无需编程,简化运营流程,减少日常运维工作量,从而专注于开发应用和业务发展。

    云数据库 MySQL

    MySQL 是目前最受欢迎的开源数据库之一,其性能卓越,搭配LAMP(Linux + Apache + MySQL + Perl/PHP/Python),成为WEB开发的高效解决方案。 云数据库拥有即开即用、稳定可靠、安全运行、弹性伸缩、轻松管理、经济实用等特点。

    • 架构成熟稳定,支持流行应用程序,适用于多领域多行业支持各种WEB应用,成本低,中小企业首选。
    • 管理控制台提供全面的监控信息,简单易用,灵活管理,可视又可控。
    • 随时根据业务情况弹性伸缩所需资源,按需开支,量身订做。

    当前 RDS for MySQL 支持版本请参见 数据库引擎和版本

    云数据库PostgreSQL

    PostgreSQL 是一个开源对象关系型数据库管理系统,并侧重于可扩展性和标准的符合性,被业界誉为“最先进的开源数据库”。 PostgreSQL 面向企业复杂SQL处理的OLTP在线事务处理场景,支持NoSQL数据类型(JSON/XML/hstore),支持GIS地理信息处理,在可靠性、数据完整性方面有良好声誉,适用于互联网网站、位置应用系统、复杂数据对象处理等应用场景。

    • 支持postgis插件,空间应用卓越,达到国际标准。更接近 Oracle 数据库,去 “O” 成本低。
    • 适用场景丰富,费用低,随时可以根据业务情况弹性伸缩所需的资源,按需开支,量身订做。

    当前 RDS for PostgreSQL 支持版本请参见 数据库引擎和版本

    云数据库SQL Server

    SQL Server 是老牌商用级数据库,成熟的企业级架构,轻松应对各种复杂环境。一站式部署、保障关键运维服务,大量降低人力成本。根据华为国际化安全标准,打造安全稳定的数据库运行环境。被广泛应用于政府、金融、医疗、教育和游戏等领域。 云数据库SQL Server 具有即开即用、稳定可靠、安全运行、弹性伸缩、轻松管理和经济实用等特点。

    拥有高可用架构、数据安全保障和故障秒级恢复功能,提供了灵活的备份方案。

    当前RDS for SQL Server支持版本请参见 数据库引擎和版本

    RDS与自建数据库优势对比

    性能对比

    性能项目

    云数据库RDS

    自购服务器搭建数据库服务

    服务可用性

    请参见弹性云服务器。

    需要购买额外设备,自建主从,自建RAID。

    数据可靠性

    请参见云硬盘。

    需要购买额外设备,自建主从,自建RAID。

    系统安全性

    防DDoS攻击,流量清洗;及时修复各种数据库安全漏洞。

    需要购买昂贵的硬件设备和软件服务,需要自行检测和修复安全漏洞等。

    数据库备份

    支持自动备份,手动备份,自定义备份存储周期。

    需要购买设备,并自行搭建设置和后期维护。

    软硬件投入

    无需投入软硬件成本,按需购买,弹性伸缩。

    数据库服务器成本相对较高,对于SQL Server需支付许可证费用。

    系统托管

    无需托管。

    需要自购2U服务器设备,如需实现主从,购买两台服务器,并进行自建。

    维护成本

    无需运维。

    需要投入大量人力成本,招聘专业的DBA进行维护。

    部署扩容

    弹性扩容,快速升级,按需开通。

    需采购和原设备匹配的硬件,需托管机房的配合,需部署设备,整体周期较长。

    资源利用率

    按实际结算,100%利用率。

    考虑峰值,资源利用率低。


    RDS与其他服务的关系

    关系型数据库与其他服务之间的关系,具体如下图所示。

    图1  关系型数据库与其他服务的关系示意图  
    1561013532145395.png
    表1  与其他服务的关系

    相关服务

    交互功能

    弹性云服务器(ECS)

    华为云关系型数据库服务配合弹性云服务器(Elastic Cloud Server,简称ECS)一起使用,通过内网连接华为云关系型数据库可以有效的降低应用响应时间、节省公网流量费用。

    虚拟私有云(VPC)

    对您的华为云关系型数据库实例进行网络隔离和访问控制。

    对象存储服务(OBS)

    存储您华为云关系型数据库实例的自动和手动备份数据。

    云监控服务(Cloud Eye)

    云监控服务是一个开放性的监控平台,帮助用户实时监测华为云关系型数据库资源的动态。云监控服务提供多种告警方式以保证及时预警,为您的服务正常运行保驾护航。

    云审计服务(CTS)

    云审计服务(Cloud Trace Service,简称CTS),为用户提供云服务资源的操作记录,供您查询、审计和回溯使用。

    数据库安全服务(DBSS)

    数据库前端使用数据库安全服务(Database Security Service,简称DBSS),多种策略防止数据库被攻击,持久保护云上数据库安全。

    分布式缓存服务(DCS)

    分布式缓存服务(Distributed Cache Service,简称DCS)通过将热点数据放入缓存,加快用户端的访问速度,提升用户体验。

    分布式数据库中间件服务(DDM)

    对于云数据库MySQL,使用分布式数据库中间件服务(Distributed Database Middleware,简称DDM),后端对接多个数据库实例,实现分布式数据库的透明访问。

    数据复制服务(DRS)

    使用数据复制服务,实现数据库平滑迁移上云。

    数据管理服务(DAS)

    使用数据管理服务,通过专业优质的可视化操作界面,提高数据管理工作的效率和安全。

     
    • A
      安全套接层

      Secure Sockets Layer(SSL),即安全套接层。工作于套接字层的安全协议。该层位于TCP层和应用层之间,用于数据的加解密以及相关实体的认证。

    • B
      半同步复制

      应用发起更新(含增加、删除、修改操作)请求,Master提交后向Slave复制数据,当至少一个Slave接收binlog写入relay-log并写入磁盘后,Slave向Master反馈成功信息。半同步复制无需等待Slave提交数据,相较于强同步复制提高了数据复制的性能,由于Slave在提交前向Master反馈,所以Master和Slave存在数据不一致的可能性。

      备份保留期

      自动备份的保留时间,超过保留期的备份将被自动删除。

      备份存储

      用于持久化保存数据库数据或日志等备份的底层存储资源。

      备实例

      备实例提供了数据库主实例的备份,主实例故障时备实例自动接管服务,提高了数据库的可用性。 在创建RDS实例时,可选择是否同时创建备实例,它的规格与主实例一致。

    • C
      CSP

      参见  云服务提供商 (cloud service provider)

      存储类型

      按照存储资源的不同维度属性,可分为不同类型。例如:按照存储介质的不同,可分为磁介质和固态硬盘(SSD);按照I/O级别的不同,可分为普通I/O、高I/O、超高I/O。

      存储容量/存储空间

      可用于保存数据库数据和日志的底层存储资源大小。

    • D
      DBA

      参见  数据库管理员 (database administrator)

      队列深度

      队列中等待处理的I/O请求数量。这些是由应用程序提交但由于设备忙于处理其他I/O请求而尚未发送到设备的I/O请求。在队列中等待所用的时间是延迟和处理时间的一部分(不以指标形式提供)。该指标以给定时间间隔内队列深度平均值的形式进行报告。RDS每分钟报告一次队列深度。队列深度典型值在零至数百之间。

      读写分离

      让主实例(master)处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而备实例(slave)处理查询(SELECT)操作。

    F-J

    • F
      非关系型数据库

      按照非关系型数据结构来联系和组织的数据库。按不同的数据结构,可细分为以下几种:键值存储数据库(key-value)、列存储(Column-oriented)数据库、面向文档(Document-Oriented)数据库、图形数据库。常用非关系型数据库有:Memcached、Redis、MongoDB、Cassandra、HBase、MemacheDB、BerkeleyDB等。

    • G
      高可用性

      指系统无中断地执行其功能的能力,代表系统的可用性程度。

      关系型数据库

      按照关系型数据结构来联系和组织的数据库。关系型数据库模型是把复杂的数据结构归结为简单的二元关系(即二维表格形式)。在关系型数据库中,对数据的操作几乎全部建立在一个或多个关系表格上,通过对这些关联的表格分类、合并、连接或选取等运算来实现数据的管理。常用关系型数据库有:Oracle数据库、MySQL数据库、MariaDB数据库、Microsoft SQL Server数据库、Access数据库、DB2,PostgreSQL,Informix,Sybase等。

      关系型数据库服务

      关系型数据库服务(RDS)是一种可让用户在云中轻松创建、设置、操作和扩展关系型数据库的托管服务。

      固态硬盘

      简称固盘,用固态电子存储芯片阵列而制成的硬盘,由控制单元和存储单元(FLASH芯片、DRAM芯片)组成。固态硬盘在接口的规范和定义、功能及使用方法上与普通硬盘的完全相同,在产品外形和尺寸上也完全与普通硬盘一致。被广泛应用于军事、车载、工控、视频监控、网络监控、网络终端、电力、医疗、航空、导航设备等领域。

      故障转移

      数据库实例发生计划外的中断时,RDS会自动切换到备实例,从而尽快恢复数据库操作而无需管理干预。完成故障转移所用的时间取决于在主数据库实例变为不可用时的数据库活动和其他条件。故障转移时间从秒级到分钟级不等。但是,事务较多或时间较长的恢复过程可能延长故障转移时间。

    • H
    • I

    K-O

    • K
      可靠性优先

      发生主备切换时,如果备实例跟主实例之间存在数据不一致,主备切换不执行,数据库停止提供服务。可靠性优先策略保证了数据一致性。

      可用性优先

      发生主备切换时,当主实例跟备实例之间存在数据不一致,且主备延迟小于等于5分钟时,依然执行主备切换,保证服务可用性。当主备延迟大于5分钟时,不执行主备切换并停止数据库服务,避免数据大量丢失。

    • L
      冷备份

      系统处于停机或维护状态下的备份。这种情况下,备份的数据与系统中此时段的数据完全一致。

      逻辑备份

      利用SQL语言从数据库中抽取数据并存于二进制文件的过程。逻辑备份是指使用软件技术从数据库中导出数据并写入一个输出文件,该文件的格式一般与原数据库的文件格式不同,只是原数据库中数据内容的一个映像。因此,逻辑备份文件只能用来对数据库进行逻辑恢复,即数据导入,而不能按数据库原来的存储特征进行物理恢复。逻辑备份一般用于增量备份,即备份那些在上次备份以后改变的数据。

    • M
      每秒进行读写操作的次数

      每秒完成的I/O操作数。该指标以给定时间间隔内IOPS平均值的形式进行报告。RDS每分钟分别报告一次读取和写入IOPS。总IOPS是读取和写入IOPS的总和。IOPS典型值在每秒零至数万之间。

    P-T

    • Q
      强同步复制

      应用发起更新(含增加、删除、修改操作)请求,Master提交后向Slave复制数据,Slave接收到数据后写入relay-log并写入磁盘,Slave回放完日志并提交完成后向Master返回成功信息,Master接到Slave的反馈后再响应给应用。Master向Slave复制数据是同步进行的,因此Slave不可用会影响Master上的操作,而Master不可用不会引起数据不一致。

      切换策略

      主备高可用架构下,主实例切换到备实例时的策略。切换策略分为可靠性优先和可用性优先。RDS默认选择可靠性优先。

    • R
      RDB

      参见  关系型数据库 (relational database)

      RDS

      参见  关系型数据库服务 (Relational Database Service)

      RDS实例

      RDS的最小管理单元是实例,一个实例代表了一个独立运行的关系型数据库,用户可以在RDS系统中自助创建及管理各种数据库类型的实例。RDS实例类型包括主实例、主备实例、只读实例。

      热备份

      系统处于正常运转状态下的备份。这种情况下,由于系统中的数据可能随时在更新,备份的数据相对于系统的真实数据可有一定滞后。

    • S
      SSD

      参见  固态硬盘 (solid-state drive)

      SSL

      参见  安全套接层 (Secure Sockets Layer)

      实例ID

      每个数据库实例都有一个数据库实例ID。在与RDS控制台和RDS API交互时,客户提供的名称可唯一标识数据库实例。对于某个地区中的客户而言,数据库实例ID必须具有唯一性。

      事务速率/数据库吞吐量

      在特定时间间隔内完成的事务数量,通常用TPM(每分钟事务数)或TPS(每秒钟事务数)表示。事务速率的另一个常用术语是数据库吞吐量,不应将其与磁盘指标的吞吐量混淆。这两个指标不一定有关系;数据库具有高事务速率,因此存在极少或根本就没有磁盘吞吐量,例如,包含缓存读取的工作负载。

      手动备份

      手动备份是由用户启动的数据库实例的全量备份,它会一直保存,直到用户手动删除。

      数据复制

      主备高可用架构下,数据在主实例被提交后会从主实例复制到备实例,这个过程叫数据复制。数据复制方式通常分为强同步复制,半同步复制和异步复制。

      数据库参数组

      应用于一个或多个数据库实例的数据库引擎参数值的容器。

      数据库存储

      用于持久化保存数据库数据和日志的底层存储资源。

      数据库管理员

      数据库管理员(DBA)是负责管理数据库的人。DBA使用专门的软件存储和组织数据。该角色职责包括但不限于数据库的容量规划,安装,配置,数据库设计,迁移,性能监测,安全性,故障排除,以及备份和数据恢复。

      数据库类型

      数据库类型通常分为关系型数据库和非关系型数据库。

      数据库连接数

      连接到数据库实例的客户端会话数。

      数据库迁移

      随着业务的变化,数据库也需要随着应用业务从一个环境迁移到另一个环境,例如从本地数据中心迁移到云上,或者从某个云迁移到另一个云上。

      数据库实例

      数据库实例是在云中运行的独立数据库环境。它是RDS的基本构建模块。一个数据库实例可以包含多个由数据库用户创建的数据库,并且可以使用与独立数据库实例相同的客户端工具和应用程序进行访问。

      数据库实例生命周期

      数据库实例生命周期是从数据库实例创建开始到最后释放。在数据库实例生命周期内,可以对数据库执行备份、还原、规格变更、存储扩容、重启、删除等操作。

      数据库引擎

      数据库引擎是用于存储、处理和保护数据的核心服务。利用数据库引擎可控制访问权限并快速处理事务,从而满足企业内大多数需要处理大量数据的应用程序的要求。 每个数据库实例均支持数据库引擎。

      数据库主用户帐户

      数据库主用户帐户与客户云帐户不同,它仅在RDS实例环境内使用,用来控制对客户的数据库实例的访问。数据库主用户帐户是本机数据库用户帐户,可用来连接数据库实例。以MySQL数据库为例,在创建数据库实例时,默认创建root为主用户帐户,客户可以指定root的密码。创建数据库实例后,客户可以使用数据库主用户帐户连接到数据库。之后,客户也可以创建其他数据库用户帐户,以满足帐户需求。

    • T
      提交延迟

      从提交请求到收到确认之间的已用时间。该指标与存储写入延迟指标密切相关。存储写入延迟高可能会导致提交延迟高。

      吞吐量

      每秒传入或传出磁盘的字节数。该指标以给定时间间隔内吞吐量平均值的形式进行报告。RDS每分钟分别报告一次读取和写入吞吐量,所用单位为每秒兆字节(MB/s)。吞吐量的典型值在零到I/O通道的最大带宽之间。

    U-Z

    • W
      网络流量

      网络传输吞吐量,即每秒出入数据库实例的网络流量速率(以兆字节为单位)。

      物理备份

      是将实际组成数据库的操作系统文件从一处拷贝到另一处的备份过程,通常是从磁盘到磁带。物理备份又分为冷备份、热备份。

    • X
      性能规格

      数据库实例的计算和内存容量由数据库实例性能规格决定。通过更改数据库实例性能规格,可以更改数据库实例的可用CPU和内存。

      性能指标

      反映数据库实例性能状况的指标,例如CPU使用率、内存使用率、存储空间使用率、网络流量、数据库连接数、事务速率/数据库吞吐量、提交延迟、存储延迟、存储IOPS、存储吞吐量、存储队列深度等。

      许可模式

      与数据库引擎关联的许可类型。

    • Y
      异步复制

      应用发起更新(含增加、删除、修改操作)请求,Master完成提交后立即响应给应用,Master向Slave异步复制数据。异步复制方式下,Master不用等待数据传输并同步到Slave,性能最好,但是有概率会引起数据不一致。

      源数据库实例

      在数据复制关系中,作为数据源的数据库实例。

      云服务提供商

      提供云计算服务的公司或机构。

    • Z
      增量备份

      RDS系统自动每5分钟对上一次自动备份或增量备份后更新的数据进行备份。

      只读副本

      另一数据库实例的活动副本。源数据库实例上的任意数据更新都会利用数据库引擎内置的复制功能复制到只读副本数据库实例。

      主备差分归档

      对于MySQL和PostgreSQL引擎的HA实例,在可用性优先的模式下,发生主备倒换前,存在主机数据多于备机数据的场景(比如:同步延迟)。此时,若发生主备倒换,原备机升为新主机对外提供服务,而原主机则降为新备机。那么,新备机上的数据比新主机上的数据多。 HA模式下对新备机进行重建前,将新备机上比新主机多的数据,以SQL语句的形式打包上传至OBS,供客户下载。

      主数据库实例

      在对外提供数据库服务的各节点中,提供读写服务的数据库实例。

      自动备份

      RDS系统自动创建数据库实例的全量备份。用户可以配置自动备份开始时间段和自动备份保留期。




    About Me

    ........................................................................................................................

    ● 本文作者:小麦苗,部分内容整理自网络,若有侵权请联系小麦苗删除

    ● 本文在itpub( http://blog.itpub.net/26736162 )、博客园( http://www.cnblogs.com/lhrbest )和个人weixin公众号( xiaomaimiaolhr )上有同步更新

    ● 本文itpub地址: http://blog.itpub.net/26736162

    ● 本文博客园地址: http://www.cnblogs.com/lhrbest

    ● 本文pdf版、个人简介及小麦苗云盘地址: http://blog.itpub.net/26736162/viewspace-1624453/

    ● 数据库笔试面试题库及解答: http://blog.itpub.net/26736162/viewspace-2134706/

    ● DBA宝典今日头条号地址: http://www.toutiao.com/c/user/6401772890/#mid=1564638659405826

    ........................................................................................................................

    ● QQ群号: 230161599 (满) 、618766405

    ● weixin群:可加我weixin,我拉大家进群,非诚勿扰

    ● 联系我请加QQ好友 646634621 ,注明添加缘由

    ● 于 2019-06-01 06:00 ~ 2019-06-30 24:00 在西安完成

    ● 最新修改时间:2019-06-01 06:00 ~ 2019-06-30 24:00

    ● 文章内容来源于小麦苗的学习笔记,部分整理自网络,若有侵权或不当之处还请谅解

    ● 版权所有,欢迎分享本文,转载请保留出处

    ........................................................................................................................

    小麦苗的微店 https://weidian.com/s/793741433?wfr=c&ifr=shopdetail

    小麦苗出版的数据库类丛书 http://blog.itpub.net/26736162/viewspace-2142121/

    小麦苗OCP、OCM、高可用网络班 http://blog.itpub.net/26736162/viewspace-2148098/

    小麦苗腾讯课堂主页 https://lhr.ke.qq.com/

    ........................................................................................................................

    使用 weixin客户端 扫描下面的二维码来关注小麦苗的weixin公众号( xiaomaimiaolhr )及QQ群(DBA宝典)、添加小麦苗weixin, 学习最实用的数据库技术。

    ........................................................................................................................

    欢迎与我联系

     

     



    来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/26736162/viewspace-2648217/,如需转载,请注明出处,否则将追究法律责任。

    展开全文
  • 云数据库

    千次阅读 2019-02-23 17:44:47
    云数据库是部署虚拟化在云计算环境中的数据库云数据库是在云计算的大背景下发展起来的一种新兴的共享基础架构的方法,它极大地增强了数据库的存储能力,消除了人员、硬件、软件的重复配置,让软、硬件升级变得...

    1. 云数据库概述

    1.1. 云计算是云数据库兴起的基础

    在这里插入图片描述
    1.2. 云数据库概念
    在这里插入图片描述
    云数据库是部署和虚拟化在云计算环境中的数据库。云数据库是在云计算的大背景下发展起来的一种新兴的共享基础架构的方法,它极大地增强了数据库的存储能力,消除了人员、硬件、软件的重复配置,让软、硬件升级变得更加容易。云数据库具有高可扩展性、高可用性、采用多租形式和支持资源有效分发等特点。

    1.3. 云数据库的特性
    在这里插入图片描述
    1.4. 云数据库是个性化数据存储需求的理想选择
    企业类型不同,对于存储的需求也千差万别,而云数据库可以很好地满足不同企业的个性化存储需求:

    • 首先,云数据库可以满足大企业的海量数据存储需求
    • 其次,云数据库可以满足中小企业的低成本数据存储需求
    • 另外,云数据库可以满足企业动态变化的数据存储需求

    到底选择自建数据库还是选择云数据库,取决于企业自身的具体需求

    • 对于一些大型企业,目前通常采用自建数据库
    • 对于一些财力有限的中小企业而言,IT预算比较有限,云数据库这种前期零投入、后期免维护的数据库服务,可以很好满足它们的需求

    1.5. 云数据库与其他数据库的关系

    • 从数据模型的角度来说,云数据库并非一种全新的数据库技术,而只是以服务的方式提供数据库功能
    • 云数据库并没有专属于自己的数据模型,云数据库所采用的数据模型可以是关系数据库所使用的关系模型(微软的SQL Azure云数据库、阿里云RDS都采用了关系模型),也可以是NoSQL数据库所使用的非关系模型(Amazon Dynamo云数据库采用的是“键/值”存储)
    • 同一个公司也可能提供采用不同数据模型的多种云数据库服务
    • 许多公司在开发云数据库时,后端数据库都是直接使用现有的各种关系数据库或NoSQL数据库产品
      在这里插入图片描述

    2. 云数据库产品

    2.1. 云数据库厂商概述
    在这里插入图片描述
    2.2. Amazon的云数据库产品
    Amazon是云数据库市场的先行者。Amazon除了提供著名的S3存储服务和EC2计算服务以外,还提供基于云的数据库服务:

    • Amazon RDS:云中的关系数据库
    • Amazon SimpleDB:云中的键值数据库
    • Amazon DynamoDB:云中的NoSQL数据库
    • Amazon Redshift:云中的数据仓库
    • Amazon ElastiCache:云中的分布式内存缓存
      2.3. Google的云数据库产品
    • Google Cloud SQL是谷歌公司推出的基于MySQL的云数据库
    • 使用Cloud SQL,所有的事务都在云中,并由谷歌管理,用户不需要配置或者排查错误
    • 谷歌还提供导入或导出服务,方便用户将数据库带进或带出云
    • 谷歌使用用户非常熟悉的MySQL,带有JDBC支持(适用于基于Java的App
      Engine应用)和DB-API支持(适用于基于Python的App
      Engine应用)的传统MySQL数据库环境,因此,多数应用程序不需过多调试即可运行,数据格式对于大多数开发者和管理员来说也是非常熟悉的
    • Google Cloud SQL还有一个好处就是与Google App Engine集成

    SQL Azure具有以下特性:

    • 属于关系型数据库:支持使用TSQL(Transact Structured QueryLanguage)来管理、创建和操作云数据库
    • 支持存储过程:它的数据类型、存储过程和传统的SQL Server具有很大的相似性,因此,应用可以在本地进行开发,然后部署到云平台上
    • 支持大量数据类型:包含了几乎所有典型的SQL Server 2008的数据类型
    • 支持云中的事务:支持局部事务,但是不支持分布式事务

    3. 云数据库系统架构

    3.1. UMP系统概述

    • UMP系统是低成本和高性能的MySQL云数据库方案
      总的来说,UMP系统架构设计遵循了以下原则:

    • 保持单一的系统对外入口,并且为系统内部维护单一的资源池

    • 消除单点故障,保证服务的高可用性

    • 保证系统具有良好的可伸缩,能够动态地增加、删减计算与存储节点

    • 保证分配给用户的资源也是弹性可伸缩的,资源之间相互隔离,确保应用和数据安全

    3.2 .UMP系统架构
    UMP系统中的角色包括:

    • Controller服务器
    • Proxy服务器
    • Agent服务器
    • Web控制台
    • 日志分析服务器
    • 信息统计服务器
    • 愚公系统

    依赖的开源组件包括:

    • Mnesia

    • LVS

    • RabbitMQ

    • ZooKeeper
      在这里插入图片描述

    • Mnesia

    • Mnesia是一个分布式数据库管理系统

    • Mnesia支持事务,支持透明的数据分片,利用两阶段锁实现分布式事务,可以线性扩展到至少50个节点

    • Mnesia的数据库模式(schema)可在运行时动态重配置,表能被迁移或复制到多个节点来改进容错性

    • Mnesia的这些特性,使其在开发云数据库时被用来提供分布式数据库服务

    • RabbitMQ

    • RabbitMQ是一个工业级的消息队列产品(功能类似于IBM公司的消息队列产品IBM Websphere
      MQ),作为消息传输中间件来使用,可以实现可靠的消息传送

    • UMP集群中各个节点之间的通信,不需要建立专门的连接,都是通过读写队列消息来实现的

    • Zookeeper

    在UMP系统中,Zookeeper主要发挥三个作用:

    • 作为全局的配置服务器

    • 提供分布式锁(选出一个集群的“总管”)

    • 监控所有MySQL实例

    • LVS

    • LVS(Linux Virtual Server)即Linux虚拟服务器,是一个虚拟的服务器集群系统

    • UMP系统借助于LVS来实现集群内部的负载均衡

    • LVS集群采用IP负载均衡技术和基于内容请求分发技术

    • 调度器是LVS集群系统的唯一入口点,调度器具有很好的吞吐率,将请求均衡地转移到不同的服务器上执行,且调度器自动屏蔽掉服务器的故障,从而将一组服务器构成一个高性能的、高可用的虚拟服务器

    • 整个服务器集群的结构对客户是透明的,而且无需修改客户端和服务器端的程序

    • Controller 服务器

    • Controller服务器向UMP集群提供各种管理服务,实现集群成员管理、元数据存储、MySQL实例管理、故障恢复、备份、迁移、扩容等功能

    • Controller服务器上运行了一组Mnesia分布式数据库服务,其中存储了各种系统元数据,主要包括集群成员、用户的配置和状态信息,以及用户名到后端MySQL实例地址的映射关系(或称为“路由表”)等

    • 当其它服务器组件需要获取用户数据时,可以向Controller服务器发送请求获取数据

    • 为了避免单点故障,保证系统的高可用性,UMP系统中部署了多台Controller服务器,然后,由Zookeeper的分布式锁功能来帮助选出一个“总管”,负责各种系统任务的调度和监控

    • Web 控制台
      Web控制台向用户提供系统管理界面

    • Proxy 服务器
      Proxy服务器向用户提供访问MySQL数据库的服务,它完全实现了MySQL协议,用户可以使用已有的MySQL客户端连接到Proxy服务器,Proxy服务器通过用户名获取到用户的认证信息、资源配额的限制(例如QPS、IOPS(I/O Per Second)、最大连接数等),以及后台MySQL实例的地址,然后,用户的SQL查询请求会被转发到相应的MySQL实例上。除了数据路由的基本功能外,Proxy服务器中还实现了很多重要的功能,主要包括屏蔽MySQL实例故障、读写分离、分库分表、资源隔离、记录用户访问日志等

    • Agent 服务器
      Agent服务器部署在运行MySQL进程的机器上,用来管理每台物理机上的MySQL实例,执行主从切换、创建、删除、备份、迁移等操作,同时,还负责收集和分析MySQL进程的统计信息、慢查询日志(Slow Query Log)和bin-log

    • 日志分析服务器
      日志分析服务器存储和分析Proxy服务器传入的用户访问日志,并支持实时查询一段时间内的慢日志和统计报表

    • 信息统计服务器
      信息统计服务器定期将采集到的用户的连接数、QPS数值以及MySQL实例的进程状态用RRDtool进行统计,可以在 Web界面上可视化展示统计结果,也可以把统计结果作为今后实现弹性的资源分配和自动化的MySQL实例迁移的依据

    • 愚公系统
      愚公系统是一个全量复制结合bin-log分析进行增量复制的工具,可以实现在不停机的情况下动态扩容、缩容和迁移

    在这里插入图片描述

    3.3. UMP系统功能

    UMP系统是构建在一个大的集群之上的,通过多个组件的协同作业,整个系统实现了对用户透明的各种功能:

    • 容灾

    • 读写分离

    • 分库分表

    • 资源管理

    • 资源调度

    • 资源隔离

    • 数据安全

    • 容灾
      •为了实现容灾,UMP系统会为每个用户创建两个MySQL实例,一个是主库,一个是从库
      •主库和从库的状态是由Zookeeper负责维护的
      •主从切换过程如下:
      •Zookeeper探测到主库故障,通知Controller服务器
      •Controller服务器启动主从切换时,会修改“路由表”,即用户名到后端MySQL实例地址的映射关系
      •把主库标记为不可用
      •借助于消息中间件RabbitMQ通知所有Proxy服务器修改用户名到后端MySQL实例地址的映射关系
      •全部过程对用户透明

    宕机后的主库在进行恢复处理后需要再次上线,过程如下:
    •在主库恢复时,会把从库的更新复制给自己
    •当主库的数据库状态快要达到和从库一致的状态时,Controller服务器就会命令从库停止更新,进入不可写状态,禁止用户写入数据
    •等到主库更新到和从库完全一致的状态时,Controller服务器就会发起主从切换操作,并在路由表中把主库标记为可用状态
    •通知Proxy服务器把写操作切回主库上,用户写操作可以继续执行,之后再把从库修改为可写状态

    读写分离
    •充分利用主从库实现用户读写操作的分离,实现负载均衡
    •UMP系统实现了对于用户透明的读写分离功能,当整个功能被开启时,负责向用户提供访问MySQL数据库服务的Proxy服务器,就会对用户发起的SQL语句进行解析,如果属于写操作,就直接发送到主库,如果是读操作,就会被均衡地发送到主库和从库上执行

    分库分表
    UMP支持对用户透明的分库分表(shard / horizontal partition)
    当采用分库分表时,系统处理用户查询的过程如下:
    •首先,Proxy服务器解析用户SQL语句,提取出重写和分发SQL语句所需要的信息
    •其次,对SQL语句进行重写,得到多个针对相应MySQL实例的子语句,然后把子语句分发到对应的MySQL实例上执行
    •最后,接收来自各个MySQL实例的SQL语句执行结果,合并得到最终结果

    资源管理
    •UMP系统采用资源池机制来管理数据库服务器上的CPU、内存、磁盘等计算资源,所有的计算资源都放在资源池内进行统一分配,资源池是为MySQL实例分配资源的基本单位
    •整个集群中的所有服务器会根据其机型、所在机房等因素被划分多个资源池,每台服务器会被加入到相应的资源池中
    •对于每个具体MySQL实例,管理员会根据应用部署在哪些机房、需要哪些计算资源等因素,为该MySQL实例具体指定主库和从库所在的资源池,然后,系统的实例管理服务会本着负载均衡的原则,从资源池中选择负载较轻的服务器来创建MySQL实例

    资源调度
    •UMP系统中有三种规格的用户,分别是数据量和流量比较小的用户、中等规模用户以及需要分库分表的用户
    •多个小规模用户可以共享同一个MySQL实例
    •对于中等规模的用户,每个用户独占一个MySQL实例
    •对于分库分表的用户,会占有多个独立的MySQL实例

    资源隔离
    在这里插入图片描述

    数据安全
    UMP系统设计了多种机制来保证数据安全:
    •SSL数据库连接:SSL(Secure Sockets Layer)是为网络通信提供安全及数据完整性的一种安全协议,它在传输层对网络连接进行加密。Proxy服务器实现了完整的MySQL客户端/服务器协议,可以与客户端之间建立SSL数据库连接

    •数据访问IP白名单:可以把允许访问云数据库的IP地址放入“白名单”,只有白名单内的IP地址才能访问,其他IP地址的访问都会被拒绝,从而进一步保证账户安全

    •记录用户操作日志:用户的所有操作记录都会被记录到日志分析服务器,通过检查用户操作记录,可以发现隐藏的安全漏洞

    •SQL拦截:Proxy服务器可以根据要求拦截多种类型的SQL语句,比如
    全表扫描语句“select *”

    4. Amazon AWS和云数据库

    4.1 Amazon和云计算的渊源
    在这里插入图片描述

    •2016年3月14日,亚马逊网络服务(AWS)十岁了
    •Amazon Web Services业务相当于紧随其后的4大竞争对手的总和
    •亚马逊在全球拥有12个区域性数据中心
    •Amazon Web Services提供的多个亚马逊数据库都在与甲骨文(Oracle)激烈竞争,其中Amazon RDS有10万多个活跃用户
    •亚马逊数据库Aurora,是Amazon Web Services历史上增长最快的服务

    在这里插入图片描述

    4.2. Amazon AWS
    在这里插入图片描述

    AWS Global Infrastructure(AWS 全局基础设施)

    •在全局基础设施中有3个很重要的概念。第一个是Region(区域),每个Region是相互独立的,自成一套云服务体系,分布在全球各地。目前全球有10个Region(比如 北京)
    •第二个是Availability Zone(可用区),每个Region又由数个可用区组成,每个可用区可以看做一个数据中心,相互之间通过光纤连接
    •第三个是Edge Locations(边缘节点)。全球目前有50多个边缘节点,是一个内容分发网络(CDN,ContentDistrubtion Network),可以降低内容分发的延迟,保证终端用户获取资源的速度

    在这里插入图片描述

    Networking (网络)
    AWS提供的网络服务主要有:
    •Direct Connect:支持企业自身的数据中心直接与AWS的数据中心直连,充分利用企业现有的资源
    •VPN Connection:通过VPN连接AWS,保证数据的安全性
    •Virtual Private Cloud: 私有云,从AWS云资源中分一块给你使用,进一步提高安全性
    •Route 53:亚马逊提供的高可用的可伸缩的云域名解析系统。Amazon Route 53 高效地将用户请求连接到 AWS 中运行的基础设施,例如 Amazon EC2 实例、Elastic Load Balancing负载均衡器或 Amazon S3 存储桶
    在这里插入图片描述

    Compute (计算)
    亚马逊的计算核心,包括了众多的服务
    •EC2: Elastic Compute Cloud,亚马逊的虚拟机,支持Windows和Linux的多个版本,支持API创建和销毁,有多种型号可供选择,按需使用。并且有自动扩展功能(5分钟即可新建一个虚拟机),有效解决应用程序性能问题

    •ELB: Elastic Load Balancing, 亚马逊提供的负载均衡器,可以和EC2无缝配合使用,横跨多个可用区,可以自动检查实例的健康状况,自动剔除有问题的实例,保证应用程序的高可用性
    在这里插入图片描述

    Storage (存储)
    •S3: Simple Storage Service,简单存储服务,是亚马逊对外提供的对象存储服务。不限容量,单个对象大小可达5TB,可实现高达99.999999999%的可用性
    •EBS: Elastic Block Storage,专门为Amazon EC2 虚拟机设计的弹性块存储服务,Amazon EBS可以为Amazon EC2的虚拟机创建卷volumns。 EBS相当于一个分布式块设备,可以直接挂载在EC2实例上,用于替代EC2实例本地存储,从而增强EC2可靠性
    •Glacier:主要用于较少使用的存储存档文件和备份文件,价格便宜量又足,安全性高

    在这里插入图片描述
    Database (数据库)
    亚马逊提供关系型数据库和NoSQL数据库,以及一些cache等数据库服务
    •SimpleDB:基于云的键 / 值数据存储服务
    •DynamoDB: DynamoDB是亚马逊自主研发的No SQL数据库,性能高,容错性强,支持分布式
    •RDS:Relational Database Service,关系型数据库服务。支持MySQL,SQL Server和Oracle等数据库
    •Amazon ElastiCache: 数据库缓存服务
    在这里插入图片描述

    Application Service (应用程序服务)
    •Cloud Search: 一个弹性的搜索引擎,可用于企业级搜索
    •Amazon SQS: 队列服务,存储和分发消息
    •Simple Workflow:一个工作流框架
    •CloudFront:世界范围的内容分发网络(CDN)
    •EMR: Elastic MapReduce,一个Hadoop框架的实例,可用于大数据处理
    在这里插入图片描述
    Deployment & Admin ( 部署和管理)
    •Elastic BeanStalk: 一键式创建各种开发环境和运行时
    •CloudFormation:采用JSON格式的模板文件来创建和管理一系列亚马逊云资源
    •OpsWorks: OpsWorks允许用户将应用程序的部署模块化,可以实现对数据库、运行时、服务器软件等自动化设置和安装
    •IAM: Identity & Access Management,认证和访问管理服务。用户使用云服务最担心的事情之一就是安全问题。亚马逊通过IAM提供了立体化的安全策略,保证用户在云上的资源绝对的安全
    在这里插入图片描述

    总体而言,Amazon AWS的产品分为几个部分:
    • 计算类
    •弹性计算云EC2:EC2提供了云中的虚拟机
    •弹性MapReduce:将Hadoop MapReduce搬到云环境中,大量EC2实例动态地成为执
    行大规模MapReduce计算任务的工作机
    • 存储类
    •弹性块存储EBS
    •简单消息存储SQS
    •Blob对象存储S3
    •NoSQL型数据库:SimpleDB和DynamoDB
    •关系数据库RDS
    • 工具支持
    •AWS支持多种开发语言,提供Java、Rupy、Python、PHP、Windows &.NET 以及
    Android和iOS的工具集
    •工具集中包含各种语言的SDK,程序自动部署以及各种管理工具
    •AWS通过CloudWatch系统提供丰富的监控功能

    Amazon EC2 架构
    相比传统的虚拟机托管,EC2的最大特点是允许用户根据需求动态调整运行的实例类型和数量,实现按需付费

    Amazon EC2平台主要包含如下部分:
    •EC2实例(AMI)
    •弹性块存储
    •弹性负载均衡(自动缩放)
    在这里插入图片描述

    EC2 存储
    •EC2本地存储是实例自带的磁盘空间,但它并不是持久的,也就是说这个实例所在的节点出现故障时,相应的磁盘空间也会随之清空
    •为了解决本地存储不可靠问题,EC2推出了EBS
    •EBS通过卷来组织数据,每个EBS卷只能挂载到一个EC2实例
    •EBS卷并不与实例绑定,而是与用户帐号绑定

    在这里插入图片描述

    在这里插入图片描述

    在EC2中创建虚拟机实例时,会提示选择镜像(Images)的类型:
    •S3-Hosted images:镜像需从S3存储中拷贝到EC2实例的本地存储。完成虚拟机镜像拷贝后启动EC2实例

    •EBS-backed images:虚拟机启动要快得多,当关闭虚拟机后,虚拟机的数据还在EBS上

    AWS 云管理平台

    云平台负责根据客户的需求(并发数、吞吐量、数据存储空间等)来弹性地分配资源,然后将不用的资源收回
    在这里插入图片描述

    任何一个SaaS在提供服务的时候,云平台都会通过4个阶段对服务进行资源的分配及调整:

    1. 首先启动服务,当有客户进行服务操作时,云平台会启动服务
    2. 启动后监控服务的需求情况
    3. 当无人访问时,停止服务
    4. 回收不被使用的资源

    一个典型的Hadoop作业执行时,AWS具体的操作流程:
    •消息平台首先发送服务启动的命令给启动控制器,由启动控制器首先将启动信息放在SimpleDB的缓冲区里

    •分配EC2的计算资源,启动Hadoop等操作,将计算数据从S3中导入EC2, 开始进行计算和分析

    •监控控制器接收到监控信息后,对应用中所有的资源和错误进行监控,更新SimpleDB的缓冲区中的状态,并且根据用户的需要随时增减资源(计算节点和存储节点)

    •关闭控制器在收到关闭消息后,会停止EC2、Hadoop等资源,将运算结果放入S3或者客户指定的存储目标,并发消息给结算控制器

    在这里插入图片描述
    4.3. Amazon AWS平台上的云数据库

    时至今日,所有Amazon Web Services数据库服务都已走上正轨,成为亚马逊数十亿美元业务的组成部分。这些数据库服务包括:
    •Amazon RDS:云中的关系数据库
    •Amazon SimpleDB:云中的键值数据库
    •Amazon DynamoDB:云中的NoSQL数据库
    •Amazon Redshift:云中的数据仓库
    •Amazon ElastiCache:云中的分布式内存缓存

    SimpleDB

    •SimpleDB是AWS上的第一个NoSQL数据库服务(键值数据库)
    •记录由主键和多个属性组成
    •可以把数据进行多副本存储,支持高并发读取
    •更新操作只能针对主副本进行,但可以快速传播到其他副本,提供最终一致性
    •SimpleDB更适合存储小型、碎片化的零散数据

    缺陷如下:
    •SimpleDB有单表限制。SimpleDB 数据模型由域、项目、属性和值组成,每个域最多只能保存10GB的数据,所以得自己分区以免超过此限制

    •性能不稳定。SimpleDB以简单为设计目标,SimpleDB并不需要用户指定主键,也不需要用户创建索引,会默认对所有属性创建索引。然而这种简洁性也带来了一些副作用

    •一致性问题。SimpleDB设计时采用的是最终一致性模型

    Amazon DynamoDB
    •采纳了SimpleDB中成功的托管服务形式及灵活的数据模型
    •记录由主键和多个属性组成,这一点类似于SimpleDB与BigTable,这比简单的KV模型更易用
    •提供了一致性读功能
    •限制了系统的功能,只能通过主键去操作记录,不能进行批量更新,这使得系统可以保证可伸缩性及任何时候的高性能
    •全面使用SSD来提升系统性能

    Amazon RDS
    •Amazon RDS 有超过 10 万活跃客户和 多个数据库引擎可供选择,已成为云中运行关系数据库的新常态
    •MySQL
    •Oracle
    •SQL Server
    •PostgreSQL
    •MariaDB
    •Aurora

    •借助 AWS 数据库迁移服务及其附带模式转换工具,客户可选择从本地部署向AWS 迁移相同数据库引擎
    •RDS可以建立3TB和3万的DB实例

    5. 微软云数据库SQL Azure

    •SQL Azure是微软的云关系型数据库,后端存储又称为“云SQL Server”
    •构建在SQL Server之上,通过分布式技术提升传统关系数据库的可扩展性和容错能力

    逻辑模型
    •一个逻辑数据库称为一个表格组
    •表格组中所有划分主键相同的行集合称为行组(row group)
    •只支持同一个行组内的事务,同一个行组的数据逻辑上会分布到一台服务器,以此规避分布式事务
    •通过主备复制将数据复制到多个副本,保证高可用性

    在这里插入图片描述

    物理模型
    •在物理层面,每个有主键的表格组根据划分主键列有序地分成多个数据分区。每个行组属于唯一分区

    •分区是SQL Azure复制、迁移、负载均衡的基本单位。每个分区包含多个副本(默认为3),每个副本存储在一台物理的SQL Server上

    •SQL Azure保证每个分区的多个副本分布到不同的故障域。每个分区有一个副本为主副本(Primary),其他副本为从副本(Secondary)。主副本处理所有的查询、更新事务,并以操作日志的形式,将事务同步到从副本,从副本接收主副本发送的事务日志并应用到本地数据库

    在这里插入图片描述

    体系架构
    •SQL Azure分为四个主要部分: SQL Server实例、全局分区管理器、协议网关、分布式基础部件。

    •每个SQL Server 实例是一个运行着SQLServer的物理进程。每个物理数据库包含多个子数据库,它们之间相互隔离。子数据库是一个分区,包含用户的数据以及schema信息
    • 全局分区管理器维护分区映射表信息
    • 协议网关负责将用户的数据库连接请求转发到相应的主分区上
    • 分布式基础部件(Fabric )用于维护机器上下线状态,检测服务器故障并为集群中的各种角色执行选取主节点操作

    在这里插入图片描述

    •SQL Azure的体系架构中包含了一个虚拟机簇,可以根据工作负载的变化,动态增加或减少虚拟机的数量
    •每台虚拟机SQL Server VM(virtualmachine)安装了SQL Server 数据库管理系统,以关系模型存储数据
    •通常,一个数据库会被散存储到3~5台SQL Server VM中
    在这里插入图片描述

    6. 云数据库实践

    6.1. 阿里云RDS简介
     RDS是阿里云提供的关系型数据库服务,它将直接运行于物理服务器上的数据库实例租给用户,是专业管理的、高可靠的云端数据库服务

     RDS由专业数据库管理团队维护,还可以为用户提供数据备份、数据恢复、扩展升级等管理功能,相对于用户自建数据库而言,RDS具有专业、高可靠、高性能、灵活易用等优点,能够帮助用户解决费时费力的数据库管理任务,让用户将更多的时间聚焦在核心业务上

     RDS具有安全稳定、数据可靠、自动备份、管理透明、性能卓越,灵活扩容等优点,可以提供专业的数据库管理平台、专业的数据库优化建议以及完善的监控体系

    6.2. RDS中的概念
     RDS实例,是用户购买RDS服务的基本单位。在实例中:
    • 可以创建多个数据库
    • 可以使用常见的数据库客户端连接、管理及使用数据
    • 可以通过RDS管理控制台或OPEN API来创建、修改和删除数据库
     RDS数据库,是用户在一个实例下创建的逻辑单元
    • 一个实例可以创建多个数据库,在实例内数据库命名唯一,所有数据库都会共享该实例下的资源,如CPU、内存、磁盘容量等
    • RDS不支持使用标准的SQL语句或客户端工具创建数据库,必须使用OPEN API或RDS管理控制台进行操作

     地域指的是用户所购买的RDS实例的服务器所处的地理位置RDS目前支持杭州、青岛、北京、深圳和香港五个地域,服务品质完全相同。用户可以在购买RDS实例时指定地域,购买实例后暂不支持更改
     RDS可用区是指在同一地域下,电力、网络隔离的物理区域,可用区之间内网互通,可用区内网络延时更小,不同可用区之间故障隔离RDS可用区又分为单可用区和多可用区
    • 单可用区是指RDS实例的主备节点位于相同的可用区,它可以有效控制云产品间的网络延迟
    • 多可用区是指RDS实例的主备节点位于不同的可用区,当主节点所在可用区出现故障(如机房断电等),RDS进行主备切换后,会切换到备节点所在的可用区继续提供服务。多可用区的RDS轻松实现了同城容灾

     磁盘容量是用户购买RDS实例时,所选择购买的磁盘大小实例所占用的磁盘容量,除了存储表格数据外,还有实例正常运行所需要的空间,如系统数据库、数据库回滚日志、重做日志、索引等
     RDS连接数,是应用程序可以同时连接到RDS实例的连接数量
    • 任意连接到RDS实例的连接均计算在内,与应用程序或者网站能够支持的最大用户数无关
    • 用户在购买RDS实例时所选择的内存大小决定了该实例的最大连接数

    6.3. 购买和使用RDS数据库

     进入阿里云首页,阿里云官网(http://www.aliyun.com/)
     使用支付宝账户登录阿里云,账户登录成功后,点击“云数据库RDS“,即可进入云数据库RDS页面。点击“立即购买”,即可获得RDS服务。新用户可以免费体验半年的RDS服务。购买成功后,可以通过管理控制台对RDS实例进行使用
     购买RDS实例
     管理RDS
     管理RDS实例
     新建RDS账号
     新建RDS数据库
     连接RDS数据库
     操作RDS数据库

    购买RDS 实例
    进入RDS页面后,点击“立即购买”,即可跳到下图的购买页面
    在这里插入图片描述

    如果已经购买阿里云服务器ECS(ElasticCompute Service),若选择和ECS所在地域相同,ECS和RDS之间可以以内网方式访问

    管理RDS
    购买RDS实例成功后,可以通过管理控制台,查看已开通的产品与服务。点击云数据库RDS 进入管理界面如下图。我们可以创建新实例、对已购买实例进行管理、续费和升级操作
    在这里插入图片描述

    管理RDS 实例
    •点击已购买RDS实例的管理操作,可以查看该实例的基本信息如下图
    • 一个实例可以创建多个数据库,在实例内数据库命名唯一,所有数据库都会共享该实例下的资源
    在这里插入图片描述

    新建RDS 账号
    • 点击“创建新账号”按钮后,可创建新的RDS账号,并选定需绑定的数据库,以及输入账号密码和账号类型(读写权限)等信息
    • MySQL实例支持最多创建50个账号,SQL Server实例支持最多创建20个账号
    • 创建完RDS账号后,还可以对RDS账号进行重置密码和修改操作

    新建RDS 数据库
    • 点击“数据库管理”按钮后,可查看数据库基本信息,并可对数据库进行创建、删除(需至少有1个数据库)的操作
    • 点击“增加数据库”后,在弹出的界面中填写数据库相关信息,提交后即可生效
    • 此外,RDS数据库还可以是自建数据库迁移来的或是从其他RDS实例中迁入的

    连接RDS 数据库
    • 如果是在阿里云服务器ECS上连接RDS数据库,就选择内网模式;
    • 如果是在其他服务器上连接RDS使用,就选择外网模式,在控制台的右上角有切换方式
    • 从本地对云端的RDS数据库进行远程访问时使用外网模式,需要在“安全控制->白名单设置”位置填入本地机器的外网IP,从而让RDS数据库允许我们的本地机器访问

     使用客户端MySQL-Front 访问
     使用数据库管理工具Navicat_MySQL
     使用MySQL 命令登录
    命令格式如下:
    mysql -u user_name -h yuqianli.mysql.rds.aliyuncs.com -P3306 -pxxxx
     使用阿里云控制台iDB Cloud 访问RDS连接地址以及端口不需要再输入,只
    需在“用户名”中输入数据库的账号,在“密码”栏中输入数据库账号的密码,便可以登录RDS。
    在这里插入图片描述

    操作RDS 数据库
    • 连接RDS数据库后,对数据库的操作与直接对本机MySQL数据库操作无异。iDB Cloud登录数据库后的界面如下图所示:
    • 在“iDB Cloud登录数据库界面”(如右图)的顶端可以看到iDBCloud提供以下三种创建表的方法:
     可视化界面
    SQL 窗口
     命令窗口

    在这里插入图片描述
    6.4.将本地数据库迁移到云端RDS数据库
    • 假设我们有一个本地应用程序,它使用本地的MySQL数据库存取和管理数据。现在,我们打算把本地MySQL数据库中的数据全部迁移到远程的阿里云RDS数据库中,本地应用程序不迁移(依然运行在本地),但是,我们希望本地应用程序使用云端的RDS数据库服务进行数据存取和管理。为此,需要执行以下两步操作:
    第一步:把本地数据库迁移到云端的RDS数据库
    第二步:修改本地应用程序配置,使用RDS数据库服务

    如何把本地数据库迁移到云端的RDS数据库?

    第1步:在本地数据库中创建一个迁移账号
    第2步:设置迁移账号权限
    第3步:确认本地数据库中的配置文件是否正确,需要确认本地数据库中的MySQL配置文件my.cnf
    第4步:登录本地数据库,通过命令查看是否为“ROW”模式
    第5步:在RDS管理控制台对应的实例页面,点击“将数据迁移至RDS”按钮,在弹出的页面中,填写待迁移的本地数据库连接地址、数据库连接端口、数据库账号、数据库密码,即可完成从本地迁移到云端
    在这里插入图片描述
    本章小结

    • 本章介绍了云数据库的相关知识。云数据库是在云计算兴起的大背景下发展起来的,在云端为用户提供数据服务,用户不需要自己投资建设软硬件环境,只需要向云数据库服务供应商购买数据库服务,就可以方便、快捷、低成本地实现数据存储和管理功能
    • 云数据库具有动态可扩展、高可用性、低成本、易用性、大规模并行处理等突出优点,是大数据时代企业实现低成本的大规模数据存储的理想选择
    • 云数据库市场有很多代表性的产品可供选择。Amazon是云数据库市场的先行者,谷歌和微软公司都开发了自己的云数据库产品,都在市场上形成了自己的影响力
    • 本章最后以阿里云RDS为例,介绍了云数据库的具体使用方法

    展开全文
  • 云计算时代,原生分布式数据库和数据仓库开始崛起,提供弹性扩展、高可用、分布式等特性。数据库将面临怎样的变革?原生数据库与数据仓库有哪些独特优势?在日前的 DTCC 2020大会上,阿里巴巴集团副总裁、阿里...
    简介:数据库将面临怎样的变革?云原生数据库与数据仓库有哪些独特优势?在日前的 DTCC 2020大会上,阿里巴巴集团副总裁、阿里云数据库产品事业部总裁、ACM杰出科学家李飞飞就《云原生分布式数据库与数据仓库系统点亮数据上云之路》进行了精彩分享。

    云计算时代,云原生分布式数据库和数据仓库开始崛起,提供弹性扩展、高可用、分布式等特性。

    数据库将面临怎样的变革?云原生数据库与数据仓库有哪些独特优势?在日前的 DTCC 2020大会上,阿里巴巴集团副总裁、阿里云数据库产品事业部总裁、ACM杰出科学家李飞飞就《云原生分布式数据库与数据仓库系统点亮数据上云之路》进行了精彩分享。

    飞刀.JPG

    阿里巴巴集团副总裁、阿里云数据库产品事业部总裁、ACM杰出科学家李飞飞

    以下为小编整理的演讲干货实录:

    一、背景与趋势

    1.背景

    数据库的本质是全链路的对“数据”进行管理,包括了生产—处理—存储—消费等,在当下的数据化时代,数据是所有企业最核心的资产之一,所以数据库的价值一直在不断地提升,不断地在新领域发现新的价值。

    2.业界趋势

    趋势一:数据生产/处理 正在发生质变
    关键词:规模爆炸性增长、生产/处理实时化与智能化、数据加速上云
    1.png

    从Gartner、IDC及各个传统厂商分析中可以得到以下几个结论:

    • 数据在爆炸性增长,非结构化数据的占比越来越高;
    • 生产/处理实时化与智能化的需求越来越高,并追求离在线一体化;
    • 数据库系统、大数据系统、数据管理分析系统等上云的趋势明显,数据加速上云势不可挡。

    趋势二:云计算加速数据库系统演进
    关键词:商业起步 - 开源 - 分析 - 异构NoSQL - 云原生、一体化分布式、多模、HTAP
    2.png

    数据库和数据仓库从上世纪八十年代至今的发展缩影

    云计算面临两大挑战

    挑战一:分布式和ACID的结合
    从传统的大数据处理来看,牺牲部分ACID换来的分布式水平拓展虽然非常好,解决了很多场景下的需求,但是应用对ACID的需求一直存在,即使是分布式并行计算的场景当中,应用对ACID的需求也变得越来越强。

    挑战二:对资源的使用方式
    传统的冯诺依曼架构下计算和存储是紧密耦合的,可将多个服务器通过分布式协议和处理的方式连成一个系统,但是服务器和服务器之间、节点和节点之间,分布式事务的协调、分布式查询的优化,尤其要保证强一致性、强ACID的特性保证的时候,具有非常多的挑战。

    全球云数据库市场格局
    关键词:资源池化,资源解耦

    3.png

    云的本质是用虚拟化技术将资源池化,并且将资源进行解耦。阿里云是核心云厂商之一,基于云原生技术,打造了云原生数据库产品体系,代表中国的数据库厂商,在Gartner将OPDBMS(事务处理 )与DMSA(管理与分析)合二为一的挑战下,历史性第一次进入Gartner Cloud DBMS云数据库全球领导者象限,市场份额来全球第三,在中国业界领先。

    数据库系统架构演进
    关键词:单节点、共享状态、分布式
    4.png

    上图是基于存储计算紧耦合,DB代表计算节点,架构当中计算节点的CPU Core和内存还是紧耦合在一起。左边的架构单一,资源紧耦合。右边分布式架构,通过Shared Nothing将多个部分连成一片,理论上具备非常好的水平扩展能力,利用分布式的协议进行分布式的事务处理和查询处理,但是也遇到分布式场景下分布式事务处理、分布式查询等非常多的挑战。

    不管是传统的中间件分布分表的形式还是企业级的透明分布式数据库都会面临一个挑战,一旦做了分布式架构,数据只能按照一个逻辑进行Sharding和Partition,业务逻辑和分库逻辑不是完美一致,一定会产生跨库事务和跨sharding处理,每当ACID要求较高的时候,分布式架构会带来较高的系统性能挑战,例如在高隔离级别下当distributed commit占比超过整个事务的5%或者更高以上的话,TPS会有明显的损耗。

    完美的Partition Sharing是不存在的,这些是分布式业务需要解决的核心挑战,以及在这个架构需要做到的高一致性保障。

    云原生的架构,本质上底下是分布式共享存储,上面是分布式共享计算池,中间来做计算存储解耦,这样可以非常好地提供弹性高可用的能力,做到分布式技术集中式部署,对应用透明。避免传统架构当中的很多挑战,比如分布式事务处理、分布式数据如何去做partition和sharding。

    5.png

    共享存储、共享资源池、共享计算池的时候,它的水平拓展性还存在一定局限性。我们可以结合分布式和云原生的架构融合来解决这个问题。

    在上图展示中,把Shared Nothing的能力和Shared Storage/Shared everything的能力打通,每个shard下面是一个资源池,能力非常强,弹性很高,同时也可以把这样的部分用分布式技术联系起来,既享受到分布式水平拓展的能力的好处,同时又避免大量的分布式事务和分布式处理场景。因为单个节点计算存储能力都特别强,200TB的数据按照传统的分布式架构,假设1个节点只能处理1TB,那就需要200个分布式节点。云原生架构1个节点可以处理100TB,也就是为2000TB的数据,传统分布式架构需要200个节点,将云原生架构结合起来需要两三个节点,分布式事务处理、分布式查询的概率会大大降低,整个系统的效率会大大提升。

    趋势三:下一代企业级数据库关键技术
    关键词:HTAP:大数据数据库一体化、云原生+分布式、智能化、Multi-Model 多模、软硬件一体化、安全可信

    6.png

    大数据、数据库一体化的趋势包括离在线一体、Transaction and Analytical Processing一体化,离线计算和在线交互式分析的一体化,统称为大数据与数据库一体化。

    云原生和分布式技术的深度融合,智能化、机器学习、AI技术在数据库领域的融合,如何简化运维、简化数据库的使用方式。除了结构化数据,如何处理非结构化数据,比如文本等数据,软硬件一体化,如何结合硬件的能力如RDMA和NVM,发挥出硬件的优势。最后是系统的安全可信能力。

    二、核心技术&产品介绍

    2.1企业级云原生分布式数据库

    1)云原生关系型数据库PolarDB

    阿里云自研关系型数据库的核心产品是云原生关系型数据库PolarDB,通过这下面张图就可以理解PolarDB的思想,存储和计算分离,通过RAFT来做高可用、高可靠的保障,在计算节点来做一个计算池,下一代版本的PolarDB可以做到多写多读multi-master,计算节点在下一代会进一步解耦,做成共享内存池,CPU Core可以做到共享计算池,然后去访问一份共享内存, PolarPorxy负责做读写分离和负载均衡工作。
    7.png

    基于这个架构,100%兼容MySQL/PG和高度兼容Oracle的PolarDB诞生了,针对开源和商业数据库的使用场景,在性能上做了大量的优化,比如做Parallel Query Processing,取得了非常优异的性能,整个TCO相对传统数据库可以做到只有1/3到1/6,TPCC同样的负载下性能有大幅度提升。

    在PolarDB的基础上做了Global Database,跨Region的架构解决了很多出海客户就近读写的需求。
    8.png

    2)云原生分布式数据库PolarDB-X
    9.png

    分布式版本的PolarDB-X:基于X-DB以及原来的分库分表DRDS将二者合二为一成为一个透明的一体化分布式数据库PolarDB-X。每个分布式节点包括两个数据节点、一个日志节点,通过优化Paxos确保数据节点和日志节点的数据一致性。

    它的特点在于三节点可以做到跨AZ部署做到同城容灾,不需要传统的商业数据库利用数据同步链路来做容灾,直接在存储层做到同城容灾。

    异地的两地三中心甚至更多异地容灾架构,比如跨异地的直接部署,因为网络的Latency非常大,可能会影响到性能,还是需要通过类似ADG、DTS这样的产品架构来做数据同步,做到异地容灾架构。

    3)数据库及应用迁移改造ADAM
    10.png

    ADAM,全称Advanced Database Application And Application Migration,通过对应用代码和逻辑树的分析生成一个评估报告。评估报告自动生成,可以提供从传统数据库迁移到PolarDB和ADB的迁移分析。

    一键迁移的方案通过ADAM来做应用代码的扫描,通过DTS去做数据的实时同步,迁移到云原生的数据库当中,可以做到对于客户的应用无切入的改造。

    如图所示:
    11.png

    总结来说,分布式只是一个技术,实际上很多数据库的应用是不需要分布式,通过云原生的能力就可以很好地满足应用弹性、高可用、水平拓展的需求。真正需要分布式的能力就可以结合Shared Nothing架构和技术来做扩展,所以要根据应用需求从客户视角出发设计系统和应用迁移改造方案。

    2.2云原生数据仓库与数据湖

    12.png

    一体化设计成为下一代数据分析系统的核心理念

    数据库市场不仅是TP关系型数据库。这也是为什么Gartner将传统的OPDBMS(事务处理)与DMSA(管理与分析)合二为一成为Cloud DBMS,并且断言Modern DBMS can do both and there is only one Cloud DBMS market。除了事务处理,数据库系统也需通过计算分析实现数据处理的一体化,例如在数据仓库和数据湖领域发挥作用。

    13.png

    云原生数据仓库+云原生数据湖构建新一代数据存储、处理方案

    数据分析领域是群雄格局的现状,在线查询、离线计算,有非常多细分领域,利用云原生计算技术的资源池化、资源解耦,会看到下一代云原生的数据系统。下一代的云原生数据仓应该具备实时在线的“增删改查”能力,在此基础上支持离在线一体化,既能做在线交互式分析和查询又能做复杂的离线ETL和计算,支持多维度的数据分析,这就是对云原生数据仓库的核心要求。

    数据仓库当中的增删改查和TP数据库存在一定区别,因为对隔离机制的要求相比没有那么高,例如不需要做到snapshot isolation,因为是一个分析系统,但是一定要支持传统数据库的在线增删改查的能力,不是只能支持Batch Insertion的场景。

    1)云原生数据仓库

    数据仓库适用于范式化、有结构的数据处理,适用于已经Normalized数据管理和应用,已经有了非常清晰稳定的业务逻辑,需要范式化进行管理。

    14.png

    云原生数据仓库利用云原生架构对传统数据仓库进行升级和改造,资源池化、资源解耦实现弹性、高可用、水平拓展、智能化运维是云原生的核心本质之一。

    如果把这些结合在一起,阿里云就是OSS、亚马逊就是S3,低成本的对象存储作为冷存储池,同时利用高效的云盘做一个本地的缓存,计算节点进行解耦,对本地节点进行加速,通过高速网络连成一个池,再对应用做统一的透明式服务。

    AnalyticDB 云原生数据仓库

    15.png

    这个架构展开底下是对象存储,利用RAFT协议实现数据一致性,对每个计算节点的本地缓存加速利用ESSD弹性云盘。上面是计算池,在数据仓库为了实现大数据和数据库一体化,数据仓库领域的计算节点也需要将大数据的离线计算能力做得更强,离线大数据系统基本上都是基于BSP+DAG,传统数据库领域则是MPP架构,所以为了做到离在线一体化将MPP和BSP+DAG进行结合,做一个Hybrid的计算引擎,针对此再做一个Hybrid的查询和计算优化器。上面的是MetaData管理,力求做到原数据共享。

    云原生数据仓库AnalyticDB MySQL
    16.png

    AnalyticDB(ADB)就是基于这个思想设计的云原生数据仓库,ADB MySQL兼容MySQL这个生态,成为TPC-DS性能与性价比榜单第一。将交互式分析和复杂的离线ETL计算统一支持起来。ADB基于PG也做了另外一个版本,就是ADB for PG。针对传统数据仓库,例如TeraData、利用PG对Oracle的兼容性来做传统数据仓库的升级,利用云原生的架构,存储和计算分离,针对传统数据仓库进行云原生的升级改造,查询执行器和其他模块中做了大量优化。

    云原生数据仓库AnalyticDB for PostgreSQL

    17.png

    例如向量化执行(vector execution)、Code Generation,ADB PG也支持把非结构化数据向量化变成高维向量数据以后处理,然后将向量数据和结构化数据在一个引擎当中进行处理实现非结构化数据和结构化数据的融合处理。ADB PG拿到了TPC-H性能和性价比榜单第一的成绩。

    2)新一代数据仓库解决方案

    基于此推出了新一代数据仓库的架构,底下是核心的云原生数据仓库ADB,上面是数据建模和数据资产管理,因为数据仓库领域不仅仅是引擎的问题,还包括建模等一系列问题。针对传统数据仓库做了升级到云原生数据仓库的解决方案,利用ADB、生态合作伙伴以及整个智能化工具实现一体化的解决方案。

    18.png
    19.png

    DLA 云原生数据湖分析(Serverless,统一元数据+开放存储与分析计算)

    20.png

    数据源更加复杂与多样的场景是云原生数据湖和数据仓库最大的区别。数据湖的核心场景是对多源异构的数据源进行统一的管理和计算与分析处理。云原生数据湖拥有统一的界面对多源异构数据进行管理、计算和分析,核心点在于元数据管理和发现,集成不同的计算引擎对多源异构数据进行管理和分析。

    Data Lake Analytics + OSS 云原生数据湖

    21.png

    上图为云原生数据湖分析Data Lake Analytics的架构,下面是对象存储或者其它不同的存储源,搭载Kubernetes+Container技术,通过serverless技术来做分析和计算,以及多用户之间的隔离安全保护,这样可以满足客户针对多源异构数据实现低成本、弹性的丰富的计算和分析处理需求。

    2.3智能化、安全可信与生态工具

    1)云原生+智能化数据库管控平台

    22.png

    智能化的数据管控平台利用云原生技术和人工智能技术进行智能化的数据库管理运维,包括分区、索引推荐、异常检测、慢SQL治理、参数调优等,这样可以大量提升管理运维的效率,我们研发了一个Database Autonomy Service模块(DAS)来实现数据库系统的自动驾驶,大幅度提升运维管控的效率。

    2)云端全程加密数据永不泄露

    23.png

    除了传统的Access Control,传输与落盘加密,我们研发了全加密数据库,确保数据的绝对安全,结合安全硬件TEE来做到这一点,可以做到数据处理的全程加密。

    3)数据库生态工具

    24.png

    除了前面提到的数据库应用迁移工具ADAM和数据库同步工具DTS,我们还提供了丰富的其他数据库生态工具,包括数据管理服务DMS和数据数据库备份服务DBS,可以提供数据血缘关系、数仓开发与建模、数据安全管理、数据备份容灾、CDM等一系列的企业级数据处理能力和面向开发者的服务能力。

    4)数据库备份解决方案DBS

    25.png

    DBS可以做传统数据多云多端的备份,把线下的数据备份到云上,也可以把云上的数据备份到线下,实现秒级RPO,支持多种数据源多源多端的云备份,并且支持Snapshot Recovery。

    三、案例分析

    1)双十一购物节•数据库挑战

    26.png

    上图为2020年“双十一”真实曲线,145倍的系统峰值瞬间迸发,利用云原生能力和分布式能力的结合可以完美平滑地支持“双十一”高并发海量数据的挑战。

    2)中国邮政•大型传统商用数据库替换

    27.png

    中国邮政以前是基于传统的商业数据仓库,如今利用ADB云原生数仓进行升级,提供更可靠的离在线一体化计算分析能力,实现对全国数据寄递平台统一到一个系统的诉求。

    3)某超大型部委客户

    28.png

    国税总局的全国税务数据统一系统应用,利用PolarDB-X分布式数据库以及DTS和ADB实现了从TP到AP数据处理、计算、分析、查询、处理一整套的解决方案,同时通过DMS来做数据开发和管理。支撑高并发、低延迟的复杂查询;支撑海量实时数据实时可见和高效入库;支持金融级别的精准计算。

    4)阿里云数据库技术对抗新冠疫情

    29.png

    利用云原生数据库提供的弹性高可用和智能化运维能力,结合分布式去做水平拓展,为广大的企业和用户提供非常好的弹性高可用能力,疫情期间在线教育行业开始大规模地使用云原生、分布式的新一代数据库技术架构和产品实现降本增效对抗疫情。

    5)客户案例•中国联通

    30.png

    中国联通的核心cBSS系统,针对传统的商业数据库进行升级改造,利用分布式数据库PolarDB-X的能力帮助实现这种核心的计费系统实时在线的交易数据处理。

    6)客户案例•马来西亚电商巨头 PrestoMall

    31.png

    马来西亚的第三大电商PrestoMall,因为用传统的商业数据库Oracle成本太高,尤其是大促场景瞬间高并发的挑战,利用云原生数据库PolarDB对传统商业数据库进行升级改造,实现了TCO的大幅下降。

    7)客户案例•国际广告商数据湖分析+计算解决方案

    32.png

    某国际领先广告厂商,文字、图片、和结构化数据等多源异构数据的处理无法统一到一个数据仓库里面进行,利用数据湖来做一个统一的分析引擎。利用DLA+OSS构建了新一代serverless数据湖,大大提升了对多源异构数据的访问处理和计算能力、同时节省了大量的计算成本。针对复杂丰富的计算分析场景,实现平滑的解决方案顺利从AWS迁移过来。

    四、总结

    33.png

    上图为阿里云数据库的产品大图,从OLTP、OLAP、NoSQL到数据库生态工具与云原生智能化管控,阿里云希望利用丰富的云原生数据库产品体系为企业级客户和用户提供更好更可靠的产品与性价比更高的解决方案。

    【相关阅读】

    【内含干货PPT下载】DTCC 2020 | 阿里云叶正盛:数据库2025

    【内含干货PPT下载】DTCC 2020 | 阿里云赵殿奎:PolarDB的Oracle平滑迁移之路

    【内含干货PPT下载】DTCC 2020 | 阿里云朱洁:NoSQL最新技术发展趋势

    【内含干货PPT下载】DTCC 2020 | 阿里云王涛:阿里巴巴电商数据库上云实践

    【内含干货PPT下载】DTCC 2020 | 阿里云张鑫:阿里云云原生异地多活解决方案

    DTCC 2020 | 阿里云梁高中:DAS之基于Workload的全局自动优化实践

    【内含干货PPT下载】DTCC 2020 | 阿里云程实:云原生时代的数据库管理

    【内含干货PPT下载】DTCC 2020 | 阿里云吉剑南:在线分析进入Fast Data时代的关键技术解读

    原文链接:https://developer.aliyun.com/article/781040?

    版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
    展开全文
  • 随着企业IT互联网系统的发展,产生了越来越多的数据。数据量的积累带来了质的飞跃,使得数据应用从业务系统的一部分演变得愈发独立。...上述关系数据库系统擅长事务处理,能够很好的支持频繁数据插入修改。一旦...

    随着企业IT和互联网系统的发展,产生了越来越多的数据。数据量的积累带来了质的飞跃,使得数据应用从业务系统的一部分演变得愈发独立。物流、交通、新零售等越来越多的行业需要通过OLAP做到精细化运营,从而调控生产规则、运营效率、企业决策等。

    运行优化

    在业务系统中,我们通常使用的是OLTP数据存储,例如MySQL,PostgreSQL等。上述关系数据库系统擅长事务处理,能够很好的支持频繁数据插入和修改。一旦需要计算的数据量过大,例如数千万甚至数十亿条,或者需要进行非常复杂的计算,此时OLTP数据库系统便力不从心了。这个时候,我们便需要OLAP系统来进行处理。

    分析型数据库MySQL版是云端托管的PB级高并发实时数据仓库,是专注于服务OLAP领域的数据仓库。在数据存储模型上,采用关系模型进行数据存储,可以使用SQL进行自由灵活的计算分析,无需预先建模。利用云端的无缝伸缩能力,分析型数据库MySQL版在处理百亿条甚至更多量级的数据时真正实现毫秒级计算。

    分析型数据库MySQL版支持通过SQL来构建关系型数据仓库。具有管理简单、节点数量伸缩方便、灵活升降实例规格等特点,而且支持丰富的可视化工具以及ETL软件,极大的降低了企业建设数据化的门槛。

    分析型数据库MySQL版为精细化运营而生,实时洞现数据价值,持续推进企业数据化变革转型。

    关于阿里云分析型数据库详细内容:阿里云分析型数据库使用教程

    (分析型数据库(AnalyticDB),是阿里巴巴自主研发的海量数据实时高并发在线分析(Realtime OLAP)云计算服务,使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。分析型数据库对海量数据的自由计算和极速响应能力,能让用户在瞬息之间进行灵活的数据探索,快速发现数据价值,并可直接嵌入业务系统为终端客户提供分析服务。)

    产品优势:

    分析型数据库MySQL版是云端托管的大规模并行处理(MPP)的PB级数据仓库。相对于业内其他数据仓库或者OLAP引擎解决方案,分析型数据库MySQL版作为一款SQL数据仓库,有如下产品优势:

    分析型数据库MySQL版运用新一代超大规模的MPP+DAG融合引擎,采用行列混存技术、自动索引、智能优化器,在瞬间即可对千亿级别的数据进行即时的多维度分析透视,快速发现数据价值。分析型数据库MySQL版对复杂SQL查询速度相比传统的关系型数据库快10倍。此外,分析型数据库MySQL版还可以快速扩容至数千节点的超大规模,进一步提升查询响应速度。

    • 灵活

    分析型数据库MySQL版极度灵活的存储和计算分离架构,您可以随时调整节点数量和动态升降配实例规格。分析型数据库MySQL版同时支持在大存储SATA节点和高性能的SSD节点灵活切换。例如,您可以从8个C4升到12个C8,或从12个C8降到8个C4,企业可以真正做到灵活控制成本。

    • 易用

    分析型数据库MySQL版作为云端托管的PB级SQL数据仓库,全面兼容MySQL协议和SQL:2003,通过标准的SQL和常用的BI工具、以及ETL工具平台即可轻松使用分析型数据库MySQL版。分析型数据库MySQL版旨在帮助企业降低实时数据化运营的建设门槛。

    • 超大规模

    分析型数据库MySQL版是全分布式结构,无任何单点设计,使得数据库实例支持ECU节点动态线性扩容至数千节点。您可以通过横向扩容来大幅度提升查询SQL响应速度、以及增加SQL处理并发。

    • 高并发写入

    您可以从最小规模的10万TPS写入能力,通过横向扩容节点提升至200万+TPS的写入能力。实时写入数据后,约1秒左右即可查询分析。单个表最大支持2PB数据,十万亿记录。传统的数据仓库通常是离线Load数据模式,不具备实时高并发写入能力。而正是由于分析型数据库MySQL版具备实时写入能力,才使得分析型数据库MySQL版数据分析时效性非常高。

    使用场景:

    分析型数据库MySQL版具有高并发TPS的实时写入能力、以及面向SQL的海量数据快速分析能力。对于企业客户来说,只需要将您的数据接入分析型数据库MySQL版,即可用标准SQL或者可视化工具轻松分析与挖掘数据价值,而分析型数据库MySQL版最核心的优势就是查询速度快。分析型数据库MySQL版常见使用场景如下:

    • 经典实时数仓场景

    您可以通过数据传输DTS将关系型数据库的业务表实时镜像一份到分析型数据库MySQL版,通过Quick BI(简称QBI)拖拽式轻松生成报表,或者通过DataV快速定制您的企业实时数据大屏。

    应用场景1

    • 实时计算清洗回流场景

    客户通常将流计算清洗结果数据回流至MySQL等单机数据库,作为报表库来查询使用。当单机数据量或者单表数据量非常大时,传统的关系型数据库会出现报表查询卡顿的问题。分析型数据库MySQL版能够很好地解决卡顿的问题,支持实时计算单表数据数千亿条,快速查询分析PB级别的实时报表,无需分库分表。

    应用场景2

    • ETL清洗回流场景

    大数据离线计算平台MapReduce、SparkSQL、Hadoop、E-MapReduce等平台产品在清洗完数据后,由于报表查询条件依然很复杂,运营报表需要钻取,导致单机数据库无法支撑性能,此时需要一个像分析型数据库MySQL版这样非常强大的报表查询引擎完成数据查询工作。常见的回流数据工具有数据集成和业内开源产品Datax.。

    应用场景3

    名词解释:

    • 数据库:分析型数据库的实例单位和租户单元,不同数据库之间的计算资源、用户权限、用户配额完全隔离,不同数据库独立计量计费
    • ECU:弹性计算单元,分析型数据库中,计算资源切分的单位。ECU亦是计量计费的最小单元。

    阿里云开发者社区全面升级,一站式体验,用得更爽:(阿里云开发者社区首页

    展开全文
  • 简述云平台和相关软件工具

    千次阅读 2017-12-12 19:05:04
    本文简单论述了公有云平台和私有云平台关系,它们之间的异同点,并列举在公有云资源上搭建私有云的软件工具,说明它们采用的技术、以及应用的领域等方面存在的异同。 公有云平台和私有云平台关系以及异同点  ...
  • 阿里巴巴集团副总裁、达摩院数据库首席科学家李飞飞发表了题为《原生分布式数据库系统——挑战与机遇》的演讲,探讨原生数据库的价值商业应用。一 背景与趋势云计算加速数据库系统演进 首先我们看一下云计算的...
  • 阿里ACA课程之掌握服务器RDS数据RDS产品介绍RDS产品概要RDS基本信息RDS的功能(一)RDS的功能(二)RDS与自建数据库对比数据RDS实例管理云...产品家族RDS云数据库RDS for SQL ServerRDS for PostgreSQLRDS for PPAS...
  • 阿里TSDB是阿里巴巴集团数据库事业部研发的一款高性能分布式时序时空数据库,在即将过去的2018年,我们对TSDB进行了多次的系统架构改进,引入了倒排索引、无限时间线支持、时序数据高压缩比算法、内存缓存、数据...
  • 微信小程序开发中的云数据库

    千次阅读 2020-05-02 16:08:18
    一、云数据库的说明 提供增删改查能力的mongoDB数据库 , 是一个非关系数据库, 是以文档对象存在的 数据库 >> 集合(数组) >> 文档(对象) 二、可视化操作数据库 创建两个集合 添加两条记录 name ...
  • 深度盘点腾讯云数据库

    千次阅读 2019-08-20 16:18:27
    数据库正成为数字经济发展的底层核心技术,也是国内厂商竞争的核心重地。 据国际权威咨询机构Gartner报告显示,数据库的未来是上云,2018年腾讯云数据库市场份额增速达123%,位列国内所有数据库厂商之首,过去两...
  • 微信小程序开发之云数据库

    千次阅读 2019-08-27 10:52:00
    开发提供了一个JSON数据库(文档型数据库),提供2GB免费存储空间,这个JSON数据库不同于传统的关系数据库。 传统的关系数据库像我们的excel表格一样,是有行有列的,每一列表示一个字段,每一行表示一个数据。 ...
  • 大数据技术之云数据库

    千次阅读 2021-05-05 22:05:41
    云数据库是部署虚拟化在云计算环境中的数据库 云数据库是在云计算的大背景下发展起来的一种新兴的共享基础架构的方法,它极大地增强了数据库的存储能力,消除了人员、硬件、软件的重复配置,让软、硬件升级变得...
  • 简介:随着原生技术的不断发展,数据库也逐渐进入了原生时代。在原生时代,如何高效、安全且稳定地管理上与下的数据库成为摆在企业面前的一大难题。在第十一届中国数据库技术大会(DTCC2020)上,阿里巴巴...
  • 主要分享了构建企业级数据库架构包括异地多活、数据库容器化、混合架构、计算存储分离和数据库与离线混布,其中包含X-DB、HDM等重要产品。 以下是精彩视频内容整理: 做数据库架构需要满足三个基本需求。第一...
  • 虚拟化与云平台

    万次阅读 2018-04-08 22:07:16
    虚拟化技术就是指一台物理机上可以跑多台虚拟机,共享内存、CPU、IO等硬件资源,虚拟机之间在逻辑上是相互隔离的。 共享的物理机称为“宿主机”,虚拟机称为“客户机” 宿主机通过hypervisor将硬件资源虚拟化给...
  • 第5讲 NoSQL数据库 5.1 NoSQL概述 5.2 NoSQL与关系数据库的比较 5.3 NoSQL的四大类型 5.4 NoSQL的三大基石 5.5 从NoSQL到NewSQL数据库 ...6.4 Amazon AWS和云数据库 6.5 微软云数据库SQL Azure 6....
  • 尽管这种架构风格没有确切的定义,但围绕业务能力,自动化部署,网点智能以及语言数据的分散控制等方面存在着某些共同特征。 简而言之,微服务架构是一种将单应用程序作为一套小型服务开发的方法,每种应用程序都...
  • 网易云数据库架构设计实践

    千次阅读 2018-08-21 14:29:23
    本文来自网易社区网易作为国内领先的互联网技术公司,拥有众多的互联网产品与移动手机客户端应用,例如大家耳熟能详的网易博客、阅读、音乐、易信等。数据库作为支撑互联网产品最核心的后台服务,对产品的重要...
  • 原生数据库vitess简介

    千次阅读 2019-11-06 15:16:09
    vitess是用于MySQL水平扩展的数据库集群系统 具有以下特点 可扩展性 Vitess将许多重要的MySQL功能与NoSQL数据库的可伸缩性结合在一起。其内置的分片功能使您可以在不向应用程序添加分片逻辑的情况下扩展数据库。 ...
  • 直播平台数据库架构演变

    千次阅读 2017-09-14 13:59:10
    摘要:在阿里云数据库技术峰会上... 8月24日,阿里云数据库技术峰会到来,本次技术峰会邀请到了阿里集团阿里云数据库老司机们,为大家分享了一线数据库实践经验技术干货。在本次峰会上,特邀嘉宾映客直播架构师王
  • Terraform云平台实例操作神器

    千次阅读 2019-07-02 15:52:28
    Terraform的意义在于,通过同一套规则命令来操作不同的云平台(包括私有云)。   二.Terraform知识准备: 核心文件有2个,一个是编排文件,一个是状态文件 main.tf文件:是业务编排的主文件,定制了一...
  • 选择阿里云数据库HBase版十大理由

    千次阅读 2019-04-28 15:25:14
    阿里云数据库HBase版也是踏着技术发展的节奏,伴随着NoSQL大数据技术的兴起发展,从2010年开始研究发展。时光荏苒,日月如梭,转眼九年时间,在阿里上直接开放提供服务也有1年多时间,并在去年的12月份全新...
  • 李飞飞,现任阿里巴巴集团副总裁、高级研究员,阿里智能数据库事业部总负责人。加入阿里巴巴之前为美国犹他大学计算机系终身教授。研究成果多次获得了IEEE ICDE、ACM SIGMOD最佳论文奖等重要学术奖项。 2018年,...
  • 智能家居云平台设计

    万次阅读 2019-04-09 16:39:07
    智能家居云平台设计 摘要 智能家居是未来家居的发展方向,其利用先进的网络技术、计算机技术无线通信技术等将家居中的各种电子电气设备连接起来,统一管理、远程监控资源共享,实现了高效、便利的生活环境。近...
  • 关系数据库 入门简介

    千次阅读 2019-07-01 16:18:09
    全称是not noly sql非关系数据库提出另一种理念,例如,以键值对存储,且结构不固定,每一个元组可以有不一样的字段,每个元组可以根据需要增加一些自己的键值对,这样就不会局限于固定的结构,可以减少一些时间...
  • 时针拨回上个世纪70年代,从最初伴随着PC时代共同成长的网状、层次型数据库,到互联网时期以IBM DB2、Oracle、SQL Server为主的关系数据库,再到时代下,非关系型、图、分布式、原生等数据库系统...
  • 15个您可能不知道的开源云平台桉树云服务环境 Eucalyptus开源协议及语言GPL Java C/C++官方网站http://www.eucalyptus.com/participate介绍Elastic Utility Computing Architecture for Linking Your Programs To ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 42,214
精华内容 16,885
关键字:

云平台和数据库之间的关系