精华内容
下载资源
问答
  • 这两天朋友圈中刷屏最多的是达梦数据库产品发布会,众多嘉宾,群星璀璨,此次一口气推出了达梦数据共享集群(DMDSC)、达梦启云数据库(DMCDB)、梦图数据库(GDM)、达梦新一代分布式数...

    这两天朋友圈中刷屏最多的是达梦数据库产品发布会,众多嘉宾,群星璀璨,

    此次一口气推出了达梦数据共享集群(DMDSC)、达梦启云数据库(DMCDB)、梦图数据库(GDM)、达梦新一代分布式数据库等四款产品。

    达梦数据共享集群(DMDSC),由达梦公司在国产数据库领域首次推出。支持8个节点共享存储集群,而此前只支持2个节点。适应国际主流产品架构,同时全面支持国产操作系统、芯片、中间件等基础软硬件设备,致力于打造高可用的数据库解决方案,构建IT大生态。达梦数据共享集群先后在电力、电信运营商、金融、公安、电子政务、能源等行业成功应用并获得高度评价。

    达梦启云数据库(DMCDB),是达梦拥抱未来云计算和现代化应用的趋势,面向新一代IT架构推出的特色云原生战略产品。产品对标国外私有云数据库产品,以达梦公司自主原创核心产品为基础,兼容国产IT基础软硬件生态,在各种基础设施环境下提供云上的数据库服务能力(DBaaS),实现数据库的“按需申请、开箱即用、秒级发放”,能够极大简化数据库使用、管理和运维流程,提升业务上线速度,同时降低投资成本。

    梦图数据库(GDM),是达梦公司下属子公司蜀天梦图推出的具有完全自主知识产权的分布式图数据库管理系统。梦图数据库采用分布式架构并进行了存储优化,在兼顾性能表现与存储占用的同时,实现存储节点的横向扩展,能满足大数据时代对海量数据的存储需求。GDM还提供多种图计算算法,采用多节点并行计算,提高了大图和超大图的分析计算能力,并能同时满足联机分析处理(OLAP)和联机事务处理(OLTP)的需求。

    达梦新一代分布式数据库,选择了原生分布式数据库技术路线,在设计之初就针对分布式架构进行设计,基于RAFT协议,来保证数据强一致。新一代分布式数据库可支持两地三中心或三地五中心等部署模式,实现数据中心故障、地区性灾害的容灾能力。不同于市场上一般的分布式数据库产品,该产品通用性好,在满足各种高级别的功能的同时,仍然能够保持集中式数据库的使用体验。

    可以说这次的产品涵盖了当前数据库发展中主流的方向,其实不止是达梦,像腾讯云数据库CynosDB、阿里云原生分布式数据库PolarDB-X、阿里云原生数据仓库AnalyticDB、阿里原生分布式数据库OceanBase,都很早就提出了“云原生”、“分布式”这些概念,听起来很玄乎,究竟这些名词,是什么含义?自己都很含糊,通过网络学习,做个普及。

    1. 云原生

    “云原生”这一概念的提出者Matt Stine于2017年将云原生归纳为模块化、可观察、可部署、可测试、可替换、可处理6特质。而云原生领域影响力最大最有话语权的组织CNCF,他们给出的定义则是这样的:

    云原生技术有利于各组织在公有云、私有云和混合云等新型动态环境中,构建和运行可弹性扩展的应用。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API。

    这些技术能够构建容错性好、易于管理和便于观察的松耦合系统。结合可靠的自动化手段,云原生技术使工程师能够轻松地对系统作出频繁和可预测的重大变更。

    云原生中的“云”表示存在于云中,而不是传统的部署于本地。比如云盘中的文件就在云中,而不是存储在用户电脑的硬盘中。“原生”则代表着应用从设计环节便考虑到云环境的因素,为云而设计,在云上运行。

    一句话概括,“云原生”就是为“云”而设计,且适合上“云”。更有人形容,云原生是生在云上,长在云上,也应用于云上。

    2. 云原生数据库

    云原生数据库,是一种通过云平台进行构建、部署和分发的服务。这种云原生属性是他相比于其他类型数据库最大的特点。作为一种云平台,云原生数据库以PaaS(平台即服务, Platform-as-a-Service)的形式进行分发,经常被称作DBaaS(数据库即服务, DataBase-as-a-Service)。用户可以将该平台用于多种目的,例如存储,管理和提取数据。

    云原生数据库通常通过在云基础设施之上安装数据库软件来实现,这种方式使得云原生数据库具备了传统数据库所不具备的直接访问性和运行时可伸缩性。

    首先是普遍可访问和高可用性。因为云原生数据库是完全存在于云上的,所以他可以随时随地的从多前端访问,提供云服务的计算节点。因其集群部署在云上,所以单点失败对服务的影响特别小。而且当需要升级或更换服务的时候,可以对节点进行不中断服务的逐渐升级。

    其次是高扩展性与可迁移性。云原生数据库会与底层的云计算基础设施分离,所以能够灵活及时的调动资源进行扩容和缩容,以从容应对流量激增可能带来的压力,以及流量低谷期因资源过剩造成的浪费。也正是因为能够灵活扩缩容,云原生数据库也具备很强的可迁移性,我们甚至可以粗暴的理解为在新的位置扩容100%又在旧的位置缩容全部的50%。

    此外,基于高扩展性、高可用性以及可迁移性等特征,云原生数据库还具备可监控性和安全性的特征。

    一方面黑箱状态下无法保证及时处理扩容、节点故障等需求和问题;另一方面全盘部署在云上且各服务之间相互独立,可以对应用或服务提供更多层的安全防护和实现许多新的容错服务。

    最后是演进式设计与快速迭代。云原生数据库中的各项服务之间是相互独立的,个别服务的更新并不会对其他部分产生不利影响,而不是一旦出了问题就只能全场熄火。此外,云原生的研发测试和运维工具是高度自动化的,这使得应用的更新会更加快速频繁。

    将网络资源和云更好的融合在一起,处处独立而又自然联系着,才能更充分的发挥数据库上云的优势,得到更高的效率。

    云原生数据库有以下几个优点:

    (1) 易处置性简单来讲,易处置性是指数据库在无需事先通知的情况下,即时处理崩溃或启动进程的能力。尽管现在有先进的技术,但是像磁盘故障、网络隔离故障,以及虚拟机异常等,仍然不可避免。

    (2) 对于传统数据库,这些故障尤其有害,因为用单个机器运行整个数据库,即便一个很小的问题都可能影响所有功能。而云原生数据库的设计具有显著的易处置性,即允许虚拟机在即时通知下立即重启或重新调度。实际上,易处置性已从单个虚拟机扩展到了整个数据中心。随着我们的环境持续朝着更加稳定的方向发展,云原生数据库将发展到对此类故障无感知的状态。

    (3) 增强的安全性DBaaS运行在受高度监控和安全的环境里,受到反恶意软件、反病毒软件和防火墙的保护。除了全天候的监控和定期的软件升级以外,云环境还提供了额外的安全性。相反,传统数据库容易遭受数据丢失和被不受限制的访问。基于服务提供商通过即时快照副本提供的数据能力,用户可以达成“RPO=0,RTO<60秒”的目标。

    (4) 可扩展性能够在运行时进行按需扩展的能力是任何企业成长的先决条件。因为这种能力让企业可以专注于追求商业目标,而不用担心存储空间大小的限制。

    (5) 传统数据库将所有文件和资源都存储在同一主机中,而云原生数据库则不同,他不仅允许你以不同的方式存储,而且不受存储问题的影响。

    (6) 更好的可访问性传统数据库最重要的限制之一,是他只能通过连接数据库系统本身进行访问。而云原生数据库提供对数据库全天候的访问,以便你随时进行任何修改,而你只需要一个可以访问internet的计算机。这样一来,就消除了可能发生的潜在的延迟,同时也为多个开发人员之间的协作开辟了途径。

    (7) 显著的成本节约建立一个数据中心是一项独立而完备的工程,需要大量的硬件投资,还需要能可靠管理和维护数据中心的训练有素的运维人员。此外,持续的运维会给你的财务带来相当大的压力。而使用云原生的DBaaS平台,你可以以较低的前期成本,获得一个可扩展的数据库,这可以让你腾出双手,实现更优化的资源分配。

    云最开始受益的就是应用端,传统架构下曾经以“天”为单位的扩容,云端能实现“秒级”扩容,降低软硬件成本的同时,提高了系统的快速扩容能力,以应对像“双十一”这种可预见且短时间的请求量高峰。但是有些云端应用还是访问传统的数据库架构,数据库层没得到云端的实惠。现在这种云原生数据库,就解决了这问题,计算和存储分离,让数据库资源能从云端得到灵活扩容、故障快速恢复、更高的可靠性、数据快速迁移等,更快满足业务的各种需求。

    3. 云原生分布式数据库

    分布式数据库是由多个相互连接的数据库组成的集合,这些数据库组合在一起形成一个面向用户的单个数据库。实际上,他们分布式在各个数据中心,通过中央服务器进行通信。

    正如微软的著名工程师布伦丹•伯恩斯(Brendan Burns)在其著作《设计分布式系统》(Designing Distributed Systems)中所说:“这些系统越来越重要,这意味着必须基于冗余、容错和高可用来构建这些在线系统。这些要求的融合导致需要构建的分布式系统数量增加了一个数量级。”

    云原生数据库,是通过云平台进行构建、部署和交付的数据库服务,通常以 DBaaS(Database-as-a-Service)的形态,将数据库底层细节隐藏起来,提供给用户一个能够弹性伸缩,高可用、高可靠、可以随时随地访问的数据库服务,他代表了数据库的发展趋势,云原生数据库的优势,加上分布式数据库的效率,代表了未来理想的解决方案。

    以下是你可能考虑采用分布式数据库系统的一些原因:

    (1) 水平可伸缩性在选择正确的数据存储方式时,可伸缩性是一个重要的考虑因素。这就是云原生分布式数据库是理想解决方案的原因,因为他允许企业轻松扩展。分布式数据库的关键特性之一是跨不同数据源的计算过程彼此独立,这使得按需添加节点和调整功能变得非常容易。选择以如此大规模提高计算能力是一个强大的增长手段,他使现代企业能够以前所未有的方式在全球发展。

    (2) 没有单点故障衡量应用程序性能的唯一标准是他为最终用户提供的用户体验水平。对于传统数据库,由于高度的相互依赖,中央服务器的单个问题会损害工作负载的可用性。如果一台(唯一的)服务器出现故障,则可能导致整个应用程序崩溃,而这将导致用户体验指标急剧下降。鉴于数据库系统的复杂性,而服务器崩溃是不可避免的,这进一步破坏了传统数据存储的方法。相反,由于数百台计算机服务器相互配合工作,因此分布式数据库可以确保即使多个节点发生故障,应用程序仍能继续正常运行。即使部分功能受到影响,整体功能却能正常运行。

    (3) 增强的性能潜力应用程序每秒都要面对数百个针对数据库的请求,这需要强大的处理能力。对于传统的方式,可能会导致性能问题、用户界面延迟等,从而影响整体的用户体验。比如,异常多的请求甚至可能导致应用程序崩溃。而在云原生的分布式数据库中,工作负载和访问请求被分散到多个服务器和计算机系统上。这意味着每个任务都由特定系统处理,而不是通过单个系统处理。因此,数据库持续无缝地工作,并提高了工作效率。分布式数据库中的每个请求和工作负载都是并行完成的,然后将其执行结果返回给中央服务器,以便在数据库的用户端实时更新。

    国产数据库正在云的道路上探索,数据库未来的发展方向,已经渐渐明朗,但是,作为学习者,还是要沉下来,打好基础,根据实际需求,有的放矢地尝试,切忌盲目跟风。

    参考文献,

    1. https://zhuanlan.zhihu.com/p/256965371

    2. https://www.zhihu.com/question/413933600

    近期的热文:

    2020数据技术嘉年华

    MySQL异常访问的熔断机制

    Oracle时间戳类型内部表示的转换方式

    Oracle的批量插入操作

    数据库结构文档的生成利器

    主键约束索引的奇葩现象

    如何判断应用系统性能好不好?

    Oracle Cloud创建19c数据库

    SQL工具集-格式化结果的SQL

    如何捕获问题SQL解决过度CPU消耗的问题

    如何查看JVM运行的堆内存情况

    Oracle删除字段的方式和风险,你都了解么?

    登录缓慢的诡异问题

    公众号600篇文章分类和索引

    展开全文
  • 10月22日,2021 OcanBase 原生分布式数据库论坛开幕,来自政府、学界、数据库、开源社区、互联网等行业的共计十余位嘉宾以及700+听众参与到本次交流活动当中。 当天共举行了6场演讲和1场圆桌论坛,国家工业...

    图片

    10月22日,2021 OcanBase 原生分布式数据库论坛开幕,来自政府、学界、数据库、开源社区、互联网等行业的共计十余位嘉宾以及700+听众参与到本次交流活动当中。

    图片

    当天共举行了6场演讲和1场圆桌论坛,国家工业信息安全发展研究中心评测鉴定所信创二部主任苏仟进行了开场致辞,从宏观的国家数字经济战略分析了数据库产业的发展趋势和未来,OceanBase CEO杨冰对分布式数据库做了全面具体的阐述后,CTO杨传辉也对外正式公布了 OceanBase 3.2 新版本。

    论坛还特别邀请了华东师范大学大学党委常委、副校长周傲英先生做了《数据库最好的时代》的主题分享。正如 OceanBase CEO 杨冰所说:“把复杂留给数据库,把简单留给客户”,Ocean Base 在原生分布式数据库这条道路上一定会砥砺前行,在这个最好的时代做最有意义的事。

    干货满满 :分布式数据库助力数字化转型

    我们对几位特邀嘉宾的核心观点做了汇总。(具体分享内容可关注“OceanBase”后续推文)

    图片

    图片

    图片

    图片

    苏仟:数据库产业的发展趋势和未来

    “一方面,原来传统的集中式数据库在技术升级上做不断的升级迭代。另一方面,原生分布式数据库在国际测试中取得了比较好的成绩,能够让我们与国外数据库在国际竞争上能够有一定的话语权。苏仟认为,“原有数据库集中式在党政这些领域在使用,未来数据库的发展趋势,随着现在在金融、电信领域应用的增多,分布式是数据库产业发展的重要趋势。”

    苏仟提到,现在分布式是整个在金融包括电信领域重点要突破的应用场景,这个过程中从原有的Oracle的替代上和用户在应用上的契合度还有需要打磨的地方。”

    杨冰:基础软件助力核心系统数字化转型

    “ ‘原生分布式数据库具备更优异的应对能力和部署效果,可以说原生分布式数据库已经成为众多企业的核心系统首选。' 杨冰认为。

    相比集中式数据库,理想的核心数据库具有高可用、高扩展、高兼容、易管理、高稳定性、运维成本低、部署灵活等明显优势。随着联网终端数量不断提升和云计算技术的日益成熟,云计算发展成为主流趋势,云原生分布式数据库已成为必然选择。”

    周傲英:数据库发展最好的时代

    “在互联网应用和开源软件的推动下,重新做数据库的重要性不言而喻。而新的数据库的功能需要进一步多样化,性能也需要进一步提升。

    数字化转型时代的关键是必须发挥数据的价值,用创新思维发展新的数据库支撑支撑数字化转型,我们必须引领新一代数据库系统这个硬核科技发展,应用、技术和理论三个组成硬核科技的基本要素,缺一不可。

    数据库发展的新路径:第一,认识数据本身的价值;第二,提炼方法学,用历史造亮未来;第三,开展丰富实践,从实践当中来到实践当中去;第四,构建科学理论。我们要有新概念诞生,而不是挪用、旧用的概念。”

    杨传辉:OceanBase 3.2新版本发布

    “对于 OceanBase 3.2 版,升级后的 OceanBase 数据库更易用、更安全、更开放,数据分析性能提升 6 倍,整体性能提升 30%。据介绍,在同等环境及任务的前提下,相比于 3.0 版本,3.2 版的 Sysbench OLTP 性能提升 24%,BMSQL tpmC 性能提升 30% 以上,TPC-H 性能提升 655%,极大的提升了 OLAP 能力。

    杨传辉透露:OceanBase 3.2 是今年 6 月 1 日产品发布会宣布进入 3.0 时代后的首个重大版本。3.2 版围绕兼容性、HTAP 混合负载、小规格性价比等几大核心能力,在 Oracle/MySQL 兼容、易用性、稳定性、性能和功能等诸多方面做了迭代增强与优化升级。在提升用户体验的同时,帮助用户更轻松地完成应用迁移、TP 和 AP 统一部署、降低应用开发部署和运维成本。新版本在两个最关键的指标上,TPC-C 跟 TPC-H 性能都领航分布式数据库。”

    伙伴证言:OceanBase斩获认可

    在OceanBase快速成长的这几年,离不开行业伙伴的信任,今天演讲也专门请到了数字江西CEO 冯晶晶和网商银行基本架构技术负责人蒋易民来分享他们的实践之路。

    “数字江西”作为政务系统数字化的典型,其“赣服通”金融服务专区通过聚合政务金融资源,采用原生分布式国产数据库OceanBase,把信用和区块链进行一个融合,将“区块链+可信授权”和统一电子证照,打破金融领域数据壁垒,实现金融服务“网上办、掌上办、马上办”,为个人和企业提供全维度数字化金融服务。

    "赣服通"在去年疫情当中受到很大的冲击,每天同时对外发放5万个口罩,其中的并发量特别高整个数据库都承受不了,但接入 OceanBase 之后发现基于其数据库的高兼容能力,有效的实现数据应用平滑迁移,保证数据信息安全的同时依托起透明水平扩展能力,有效降低项目前期的投入成本,提升了业务效率同时也降低实时的风险。

    正是 OceanBase 动态无感知的扩容能力,助力了"赣服通"小步快跑。目前,"赣服通"金融专区的运行情况,累计服务用户数超过62万人次,个人方面的款项申请规模超过了6亿元,实际的个人放款有1.5亿元,企业的实际放款规模也达到了上亿元,从这半年来的成绩来看,预计到明年整个个人放款规模超过2亿元没有问题,相信明年一定乘以10倍增长。

    图片

    图片

    上/冯晶晶 ;下/蒋易民

    同样,蒋易民也提到了网商银行发展中的困惑。随着业务快速发展,网商银行面对的核心问题是稳定性。得益于OceanBase强大的自愈能力,个别物理机故障对业务基本上没有影响,也不需要干预,整个过程的运维成本很低。

    存储架构方面,OceanBase 从最初的两地三中心,到后来实现了三地五中心的单元化。“三地五中心”,即在三座城市部署五个中心,一旦其中一到两个中心发生故障,甚至一个城市出现问题,业务都能够在 30 秒内自动恢复,这意味着任何单个城市发生故障,OceanBase 都不会停止服务,数据也不会有任何损失。

    另外,OceanBase 不只是数据库,云原生架构之后,可实现链路加密,在 ServiceMesh 做加密,数据库做解密。目前,网商银行数据库集群规模 100 多套,数据量达到 PB 级。在线库和历史库架构中,历史库访问量较低。云原生微服务起来后,数据库、业务系统不断被拆分,需要下游的核心能力,包括建立一些基于 AI 能力的加持。而网商银行选择OB 分区表来进一步扩大单表容量和性能。在分库分表方面,网商银行采用分区架构,在生产实践当中,有热点库、热点行、热点表等挑战,这些热点利用分区的能力,每一个分区独立到一台机器。

    圆桌论“战”:开启数据库发展新征程

    在本场论坛的尾声,开源中国创始人 & CTO 红薯、华东师范大学特聘教授、数据科学与工程学院院长钱卫宁、中国电子技术标准化研究院木兰开源社区运营负责人耿航、携程计算机技术有限公司DBA专家陈尧、新炬网络副总经理程永新、OceanBase 产品部总经理王南为大家贡献了一场精彩纷呈的圆桌对话。

    图片

    圆桌以《开源:分布式数据库的新征程》为主题,会议伊始,主持人红薯提问道:数据库技术发展了60余年,排名里面前十名榜单里还有很多是传统数据库的鼻祖,包括 Oracle 和 MySQL,那么新时代数据库的挑战是什么,几位业内外人士从不同角度给出了他们自己的答案。

    封仲淹认为:“数据是在线系统的命脉,任何风吹草动都会导致业务发生雪崩,数据库最需要解决的问题就是高可用,今天所有数据库包括 OceanBase 其实都在发展高可用的技术,以应对未来稳定性上的挑战。”

    陈尧也表示携程在发展的道路上也遇到了众多企业同样的问题:“数据访问量爆发式的增长,跟十年前的量级已经不是十倍二十倍的问题,可以说已经达到了几百倍上千倍,IOA 的吞吐和这些性能的提升都是数据库面临的挑战。”

    程永新从运维角度,从自己的亲身经历分享了对数据库的理解:”数据库能不能弹性扩容,高度自治,能不能适应新型国产的基础设施,这是非常关键的。

    那么分布式数据库是否可以成为核心数据库迁移升级的选择?王南表示,当下OceanBase 大量的客户和应用场景对数据库带来了很正向的反馈,这刚好形成了良性循环。

    作为开源中国的创始人,红薯问到了开源如何助力核心系统升级的?在钱卫宁看来,开源是一种生态建设,有助于消除恐惧感;封仲淹也表示开源有助于分布式数据库系统稳定性的提升;耿航则认为“开源是解决生态和快速建立生态最好的一种创新群智化创新模式,开源也是分布式数据库的新征程。”

    未来如何继续做好开源?钱卫宁和封仲淹的观点不谋而合:不只是企业,学校的教育也要跟上,让理论和实践相结合,讲究参与者多样性。陈尧则将其具体化,认为OceanBase应该增加线上+线下的培训课程,开源开放后让更多人快速上手,达到企业和用户的双赢。

    正如程永新的那句感慨,做好数据库最好的方式还得是长期坚持。十一年时间的不断积累,OceanBase 并未停下脚步,未来还将在技术能力上还在不断蓄力,在产品和服务能力上也会不断升级,就像此次发布的3.2新版本一样:升级后的 OceanBase 数据库更易用、更安全、更开放,数据分析性能提升 6 倍,整体性能提升 30%。每一次的进步都有每一步的意义,所以接下来,Ocean Base也会继续努力,与更多伙伴一起为客户的数字化转型按下"加速按钮",共筑分布式数据库的美好未来!

    展开全文
  • 凌云时刻 · 技术导读:阿里巴巴集团副总裁、达摩院数据库首席科学家李飞飞在 2020 中国企业数字创新峰会发表了题为《云原生分布式数据库系统——挑战与机遇》的演讲,探讨云原生数据库的价...

     

    凌云时刻 · 技术

    导读:阿里巴巴集团副总裁、达摩院数据库首席科学家李飞飞在 2020 中国企业数字创新峰会发表了题为《云原生分布式数据库系统——挑战与机遇》的演讲,探讨云原生数据库的价值和商业应用。

    作者朱宗鹏 左延鹊

    来源|阿里技术

    背景与趋势

    云计算加速数据库系统演进 

    首先我们看一下云计算的发展给数据库系统带来了哪些变化?数据库系统是计算机领域三大基础软件系统之一,操作系统、编译系统、数据库系统。上世纪 80 年代初,数据库系统开始走上了历史舞台,早期的关系型数据库以甲骨文为代表,取得了巨大的商业成功。后来出现了开源的关系型数据库,比如 MySQL、Postgres 等。到 90 年代,随着关系型数据库的广泛应用,产生了大量的数据,分析这些结构化的数据对分析型的数据库系统提出了很高的要求。这就是为什么在 90 年代涌现出了一批分析型数据库系统。世纪更迭,2000 年到 2010 年左右的这段时间是大数据技术走上历史舞台的时代。

    数据仓库加速从 BigData 向 Cloud-Native+FastData 演进

    大数据技术之所以会诞生,其原因可以总结为两个方面:

    • 大数据的产生。随着互联网技术的蓬勃发展,尤其是以谷歌为代表的互联网公司,产生了大量的数据。谷歌做搜索推荐引擎,最核心的是不断的爬取全世界所有的网页,动态地对这些网页之间的关联关系进行分析、处理。

    • 获取、处理、分析数据的方式不一样。比如说银行最简单的交易、转账,对隔离、一致性、持久性都有非常严格的要求。大数据就不一样,做搜索引擎,少爬一个网页,或者计算的时候没有把这个网页的影响算进去,对最终的搜索结果会有一点影响,但不是特别重要。所以,这种应用场景和传统的联机交易关系型数据库里面的强要求是完全不同的。

    这时候大数据系统就出现了,谷歌发表了耳熟能详的分布式文件系统、分布式表格存储、MapReduce 三大论文,这奠定了今天大数据的整个技术生态圈的基石。从 2010 年往后,我们又看到另外一个趋势,就是云计算的热度在这个时候逐渐升温,对我们的数据处理系统产生了一个非常大的影响。我们看到云原生技术在数据处理系统深入的应用,我们看到传统的关系型数据库和传统大数据生态正在快速发生融合。

    每个人都在讲云计算,如何深入理解云计算这个概念呢?今天整个计算机领域的技术架构是基于 60 年代诞生的冯诺依曼架构的,其最核心的是两个部分,计算和存储,计算和存储是紧耦合在一起的。从冯诺依曼架构一直到云计算出现之前,所有的计算体系都是基于这样的架构来实现的。比如一台服务器如果 CPU 资源不够了,要做高并发处理,需要再加一台服务器。可能内存原本已经够用了,但是为了扩容计算资源带来了一定存储空间的浪费。在对 IT 资源做预算的时候,就需要按照今年接下来的业务的高峰的峰值评估系统容量,不然系统无法支撑业务,但是这样预算成本是浪费的。

    这时候云计算出现了,云计算的本质就是利用分布式技术将资源高效池化,而对应用做到透明的集中式部署。

    把云计算、数据库、以及大数据发展结合起来看,数据系统本质上就是对数据从生产、处理、消费、存储的一个全链路的过程。可以看到业界发展的趋势,资源的池化,以云原生、分布式的技术为基础,打造下一代的数据处理系统。我们之所以能够支撑双 11,也是因为我们在不断的实践基于这些理念的一些思考。

    数据库挑战(双 11)

    第一张图是我们历年双 11 的零点交易峰值的曲线,最新的 2020 年双 11 的零点的峰值是 58 万笔/秒。每一笔交易还会有一个拆单的动作,到数据库系统就是每秒几百万 TPS。第二张图是我们系统零点负载的瞬间变化曲线。可以看到在一秒钟时间内系统负载瞬间爆发了 145 倍。

    如果我们不是利用这种云原生的技术,只是简单依赖传统技术,是无法满足这种高并发、弹性、高可用的要求的。

    我们阿里云利用这些技术在全球的数据库市场也取得了一些成绩。如今在云数据库这个市场营收份额是亚太第一,世界第三。刚发布的2019 年到 2020 年的市场调查结果表明,我们已经进入了领导者象限,这也是中国的基础软件领域第一次进入领导者象限。最右边是市场份额,也是第一次在线下+线上的模式里面超过了甲骨文。

    全球云数据库市场格局

    看一下业界的趋势。甲骨文是大家都知道传统的数据库厂商,它把传统的基于 IOE 架构快速向云化发展,也是基于云原生的技术。Snowflake 这家软件公司近几年发展迅猛,本质上也是做了资源池化、存储池化、存储计算分离。它把一些传统的数据库能力和传统大数据的能力融合在一起,而底下资源池化。此外,还支持多云部署。这是 Snowflake 成功的几个关键的因素。

    数据库发展趋势(云原生企业级一体化、数据库大数据一体化)

    从架构的角度来讲,数据库系统有哪些变化?最左边就是传统的冯诺依曼架构。最右边是分布式架构。中间就是我们讲的云原生的架构,背后大量的利用了分布式技术。这种资源池化带来的弹性、高可用的能力是显而易见的。

    数据库系统架构演进

    这是今天三种不同的架构,我们认为有这么几个趋势:

    • 大数据和数据库一体化的趋势

    • 云原生和分布式技术结合的趋势

    • 智能化的趋势

    • 软硬件一体化,比如利用高速网络等来提升数据处理系统的性能和效率

    • 安全可信,如何确保数据不可更改

    这是下一代数据库的几个核心技术:

    下一代企业级数据库关键技术

    核心技术及产品

     企业级云原生分布式数据库

    下面结合我们的核心技术把这些背景、趋势实例化。

     云原生关系型数据库 PolarDB

    第一个是云原生关系型数据库 PolarDB。

    云原生关系型数据库 PolarDB

    每个数据块也是分成三个物理节点,虽然下面大量使用分布式技术,但是不用关心分布式带来的挑战,比如说分库分表、分布式的查询,因为对应用是完全透明的,读写的是一份数据,做到了集中式部署。另外存储计算分离,在分钟级别部署一个新的计算节点,或者扩容存储节点。同时在性能上做了大量的优化,非常好的兼容了生态,比如说 100% 兼容 PG,高度兼容甲骨文。性价比在商业数据库中有非常好的竞争优势,在实际的客户案例里面,利用 PolarDB 甲骨文兼容版替换掉现有的甲骨文,在性能一样的前提下,整体成本不到原来的三分之一。

    • 兼容生态

      • 100% 兼容 MySQL 5.6, 5.7 and 8.0

      • 100% 兼容 PostgreSQL 11

      • 高度兼容 Oracle

    • 存储计算分离

      • 5 分钟添加只读实例

      • 15 分钟 Scale Up

    • 智能负载均衡

      • 透明读写分离

      • 自定义应用访问路径

    • 分布式共享存储

      • 100TB 存储空间

      • 分钟备份数 TB 数据

    • 用户态 I/O stack + NVM + RDMA

      • 最高 6 倍社区开源 MySQL 性能,100 万 QPS/秒

    • 基于 Redo log 复制

      • 备库/只读实例数据同步毫秒级延时

     云原生分布式数据库 PolarDB-X

    除了云原生的架构,也有分布式架构版的 PolarDB。在每个分区里面做这种三节点的架构,同时三节点是利用协议去做数据的一致性保障,而且三节点可以做到同城跨 AZ 部署。

    云原生分布式数据库 PolarDB-X

     新一代云原生分布式数据库系统

    下一代的系统是将云原生技术和分布式技术合二为一,上面是分布式,而下面是云原生的方式实现,带来的好处就是每个分区享受到了云原生带来弹性、高可用的能力,同时上面有分布式带来的水平拓展的能力,解决高并发可能带来的瓶颈问题。

    新一代云原生分布式数据库系统

     云原生数据仓库与数据湖

    再看看数据库领域发生的一些其他的变化,比如说数据仓库。

    一体化设计成为下一代数据分析系统的核心理念

     云原生数据仓库

    云原生的数据仓库本质上也是云原生的架构,存储池化、计算池化、存储计算分离。同时实现海量存储弹性,轻量化部署。就像现实生活中的仓库,所有物品都要分门别类放好,所以数据仓库是比较适合已经范式化的数据格式、业务类型比较固定的场景,性价比非常高。这是我们在云原生数仓方面做得一些工作,我们也利用这套架构支持了淘宝天猫对实时交易数据进行在线交互式分析和计算的需求。

    云原生数据仓库

    AnalyticDB 云原生数据仓库

     数据湖

    另外一个概念叫数据湖。湖面很平,湖底其实是参差不齐的,所以不同于数据仓库,数据湖的存储是多源异构的,只需要有一个统一的界面对这个数据进行分析、处理。我们打造一个云原生的数据湖解决方案,基于对象存储,对多源异构的数据存储进行统一的分析,非常低成本的实现弹性高可用的能力,并且满足安全性的要求。我们集团各个业务之间,可能需要访问一份数据,但是计算要进行隔离。云上很多用户有这种需求,可以用云原生的数据湖的产品和解决方案去满足这种弹性、高可用的场景。

    DLA 云原生数据湖分析(Serverless,统一元数据+开放存储与分析计算)

     智能化、安全可信与生态工具

     智能化

    我们在管控这一层去实现异常检测、安全诊断,我们通过 K8S 这套编排技术,把多源异构的资源管理起来,打造智能化的运维管控平台。

    云原生+智能化数据库管控平台

     安全可信

    我们做了全加密的数据库,数据进入内核以后不需要解密。今天的安全体系里面还有一个关键的薄弱点,就是数据进入大数据系统进行计算分析的时候必须进行解密。我们利用安全硬件技术做了全加密的流程和保护,实现了不解密也能进行数据加工和处理。

    全加密云数据库——ApsaraDB RDS Encrypted

     数据库生态工具

    从传输、备份到管理,传输采用 DTS,做端到端数据的同步,用 DBS 数据备份做多云多端的逻辑备份、物理备份,DMS 做企业级的开发建模的流程。这一整套搭建起了阿里巴巴在双 11 的核心链路,比如各个单元之间的数据同步,核心数据的容灾备份,用 DBS 做数据的开发、管理,通过 DMS 做保障,这就是双 11 背后的数据库系统技术实践。


    多云多端+混合云:数据高速公路,迁移、管理、备份、建仓

    最佳实践

    今年的疫情期间看到各行各业的一个非常大的变化,传统的离线业务和在线业务有一个快速融合,线上线下的边界越来越模糊。这带来的挑战是,业务的波峰波谷的变化越来越剧烈。这是疫情带来必然的变化。数字化的转型是一个必然存在的事实。这种背景下,我们云原生数据库、云原生数据仓,支持了不仅是双 11,还有疫情期间各行各业尤其是在线教育、游戏等这些传统的线上线下边界变得越来越模糊的行业。

    阿里云数据库技术对抗新冠疫情

    END

    新年礼物第三弹,精品机械键盘抽奖中!!

    邀请伙伴助力中奖几率翻倍

    开奖时间:2021 年 1 月 12 日

    赶紧转发至朋友圈,呼唤好友一起

    抽  奖 吧 !


    长按扫描二维码关注凌云时刻

    每日收获前沿技术与科技洞见

    展开全文
  • 在日前的 DTCC 2020大会上,阿里巴巴集团副总裁、阿里云数据库产品事业部总裁、ACM杰出科学家李飞飞就《云原生分布式数据库与数据仓库系统点亮数据上云之路》进行了精彩分享。云计算时代,云原生分布式数据库和数据...
    简介:数据库将面临怎样的变革?云原生数据库与数据仓库有哪些独特优势?在日前的 DTCC 2020大会上,阿里巴巴集团副总裁、阿里云数据库产品事业部总裁、ACM杰出科学家李飞飞就《云原生分布式数据库与数据仓库系统点亮数据上云之路》进行了精彩分享。

    云计算时代,云原生分布式数据库和数据仓库开始崛起,提供弹性扩展、高可用、分布式等特性。

    数据库将面临怎样的变革?云原生数据库与数据仓库有哪些独特优势?在日前的 DTCC 2020大会上,阿里巴巴集团副总裁、阿里云数据库产品事业部总裁、ACM杰出科学家李飞飞就《云原生分布式数据库与数据仓库系统点亮数据上云之路》进行了精彩分享。

    飞刀.JPG

    阿里巴巴集团副总裁、阿里云数据库产品事业部总裁、ACM杰出科学家李飞飞

    以下为小编整理的演讲干货实录:

    一、背景与趋势

    1.背景

    数据库的本质是全链路的对“数据”进行管理,包括了生产—处理—存储—消费等,在当下的数据化时代,数据是所有企业最核心的资产之一,所以数据库的价值一直在不断地提升,不断地在新领域发现新的价值。

    2.业界趋势

    趋势一:数据生产/处理 正在发生质变
    关键词:规模爆炸性增长、生产/处理实时化与智能化、数据加速上云
    1.png

    从Gartner、IDC及各个传统厂商分析中可以得到以下几个结论:

    • 数据在爆炸性增长,非结构化数据的占比越来越高;
    • 生产/处理实时化与智能化的需求越来越高,并追求离在线一体化;
    • 数据库系统、大数据系统、数据管理分析系统等上云的趋势明显,数据加速上云势不可挡。

    趋势二:云计算加速数据库系统演进
    关键词:商业起步 - 开源 - 分析 - 异构NoSQL - 云原生、一体化分布式、多模、HTAP
    2.png

    数据库和数据仓库从上世纪八十年代至今的发展缩影

    云计算面临两大挑战

    挑战一:分布式和ACID的结合
    从传统的大数据处理来看,牺牲部分ACID换来的分布式水平拓展虽然非常好,解决了很多场景下的需求,但是应用对ACID的需求一直存在,即使是分布式并行计算的场景当中,应用对ACID的需求也变得越来越强。

    挑战二:对资源的使用方式
    传统的冯诺依曼架构下计算和存储是紧密耦合的,可将多个服务器通过分布式协议和处理的方式连成一个系统,但是服务器和服务器之间、节点和节点之间,分布式事务的协调、分布式查询的优化,尤其要保证强一致性、强ACID的特性保证的时候,具有非常多的挑战。

    全球云数据库市场格局
    关键词:资源池化,资源解耦

    3.png

    云的本质是用虚拟化技术将资源池化,并且将资源进行解耦。阿里云是核心云厂商之一,基于云原生技术,打造了云原生数据库产品体系,代表中国的数据库厂商,在Gartner将OPDBMS(事务处理 )与DMSA(管理与分析)合二为一的挑战下,历史性第一次进入Gartner Cloud DBMS云数据库全球领导者象限,市场份额来全球第三,在中国业界领先。

    数据库系统架构演进
    关键词:单节点、共享状态、分布式
    4.png

    上图是基于存储计算紧耦合,DB代表计算节点,架构当中计算节点的CPU Core和内存还是紧耦合在一起。左边的架构单一,资源紧耦合。右边分布式架构,通过Shared Nothing将多个部分连成一片,理论上具备非常好的水平扩展能力,利用分布式的协议进行分布式的事务处理和查询处理,但是也遇到分布式场景下分布式事务处理、分布式查询等非常多的挑战。

    不管是传统的中间件分布分表的形式还是企业级的透明分布式数据库都会面临一个挑战,一旦做了分布式架构,数据只能按照一个逻辑进行Sharding和Partition,业务逻辑和分库逻辑不是完美一致,一定会产生跨库事务和跨sharding处理,每当ACID要求较高的时候,分布式架构会带来较高的系统性能挑战,例如在高隔离级别下当distributed commit占比超过整个事务的5%或者更高以上的话,TPS会有明显的损耗。

    完美的Partition Sharing是不存在的,这些是分布式业务需要解决的核心挑战,以及在这个架构需要做到的高一致性保障。

    云原生的架构,本质上底下是分布式共享存储,上面是分布式共享计算池,中间来做计算存储解耦,这样可以非常好地提供弹性高可用的能力,做到分布式技术集中式部署,对应用透明。避免传统架构当中的很多挑战,比如分布式事务处理、分布式数据如何去做partition和sharding。

    5.png

    共享存储、共享资源池、共享计算池的时候,它的水平拓展性还存在一定局限性。我们可以结合分布式和云原生的架构融合来解决这个问题。

    在上图展示中,把Shared Nothing的能力和Shared Storage/Shared everything的能力打通,每个shard下面是一个资源池,能力非常强,弹性很高,同时也可以把这样的部分用分布式技术联系起来,既享受到分布式水平拓展的能力的好处,同时又避免大量的分布式事务和分布式处理场景。因为单个节点计算存储能力都特别强,200TB的数据按照传统的分布式架构,假设1个节点只能处理1TB,那就需要200个分布式节点。云原生架构1个节点可以处理100TB,也就是为2000TB的数据,传统分布式架构需要200个节点,将云原生架构结合起来需要两三个节点,分布式事务处理、分布式查询的概率会大大降低,整个系统的效率会大大提升。

    趋势三:下一代企业级数据库关键技术
    关键词:HTAP:大数据数据库一体化、云原生+分布式、智能化、Multi-Model 多模、软硬件一体化、安全可信

    6.png

    大数据、数据库一体化的趋势包括离在线一体、Transaction and Analytical Processing一体化,离线计算和在线交互式分析的一体化,统称为大数据与数据库一体化。

    云原生和分布式技术的深度融合,智能化、机器学习、AI技术在数据库领域的融合,如何简化运维、简化数据库的使用方式。除了结构化数据,如何处理非结构化数据,比如文本等数据,软硬件一体化,如何结合硬件的能力如RDMA和NVM,发挥出硬件的优势。最后是系统的安全可信能力。

    二、核心技术&产品介绍

    2.1企业级云原生分布式数据库

    1)云原生关系型数据库PolarDB

    阿里云自研关系型数据库的核心产品是云原生关系型数据库PolarDB,通过这下面张图就可以理解PolarDB的思想,存储和计算分离,通过RAFT来做高可用、高可靠的保障,在计算节点来做一个计算池,下一代版本的PolarDB可以做到多写多读multi-master,计算节点在下一代会进一步解耦,做成共享内存池,CPU Core可以做到共享计算池,然后去访问一份共享内存, PolarPorxy负责做读写分离和负载均衡工作。
    7.png

    基于这个架构,100%兼容MySQL/PG和高度兼容Oracle的PolarDB诞生了,针对开源和商业数据库的使用场景,在性能上做了大量的优化,比如做Parallel Query Processing,取得了非常优异的性能,整个TCO相对传统数据库可以做到只有1/3到1/6,TPCC同样的负载下性能有大幅度提升。

    在PolarDB的基础上做了Global Database,跨Region的架构解决了很多出海客户就近读写的需求。
    8.png

    2)云原生分布式数据库PolarDB-X
    9.png

    分布式版本的PolarDB-X:基于X-DB以及原来的分库分表DRDS将二者合二为一成为一个透明的一体化分布式数据库PolarDB-X。每个分布式节点包括两个数据节点、一个日志节点,通过优化Paxos确保数据节点和日志节点的数据一致性。

    它的特点在于三节点可以做到跨AZ部署做到同城容灾,不需要传统的商业数据库利用数据同步链路来做容灾,直接在存储层做到同城容灾。

    异地的两地三中心甚至更多异地容灾架构,比如跨异地的直接部署,因为网络的Latency非常大,可能会影响到性能,还是需要通过类似ADG、DTS这样的产品架构来做数据同步,做到异地容灾架构。

    3)数据库及应用迁移改造ADAM
    10.png

    ADAM,全称Advanced Database Application And Application Migration,通过对应用代码和逻辑树的分析生成一个评估报告。评估报告自动生成,可以提供从传统数据库迁移到PolarDB和ADB的迁移分析。

    一键迁移的方案通过ADAM来做应用代码的扫描,通过DTS去做数据的实时同步,迁移到云原生的数据库当中,可以做到对于客户的应用无切入的改造。

    如图所示:
    11.png

    总结来说,分布式只是一个技术,实际上很多数据库的应用是不需要分布式,通过云原生的能力就可以很好地满足应用弹性、高可用、水平拓展的需求。真正需要分布式的能力就可以结合Shared Nothing架构和技术来做扩展,所以要根据应用需求从客户视角出发设计系统和应用迁移改造方案。

    2.2云原生数据仓库与数据湖

    12.png

    一体化设计成为下一代数据分析系统的核心理念

    数据库市场不仅是TP关系型数据库。这也是为什么Gartner将传统的OPDBMS(事务处理)与DMSA(管理与分析)合二为一成为Cloud DBMS,并且断言Modern DBMS can do both and there is only one Cloud DBMS market。除了事务处理,数据库系统也需通过计算分析实现数据处理的一体化,例如在数据仓库和数据湖领域发挥作用。

    13.png

    云原生数据仓库+云原生数据湖构建新一代数据存储、处理方案

    数据分析领域是群雄格局的现状,在线查询、离线计算,有非常多细分领域,利用云原生计算技术的资源池化、资源解耦,会看到下一代云原生的数据系统。下一代的云原生数据仓应该具备实时在线的“增删改查”能力,在此基础上支持离在线一体化,既能做在线交互式分析和查询又能做复杂的离线ETL和计算,支持多维度的数据分析,这就是对云原生数据仓库的核心要求。

    数据仓库当中的增删改查和TP数据库存在一定区别,因为对隔离机制的要求相比没有那么高,例如不需要做到snapshot isolation,因为是一个分析系统,但是一定要支持传统数据库的在线增删改查的能力,不是只能支持Batch Insertion的场景。

    1)云原生数据仓库

    数据仓库适用于范式化、有结构的数据处理,适用于已经Normalized数据管理和应用,已经有了非常清晰稳定的业务逻辑,需要范式化进行管理。

    14.png

    云原生数据仓库利用云原生架构对传统数据仓库进行升级和改造,资源池化、资源解耦实现弹性、高可用、水平拓展、智能化运维是云原生的核心本质之一。

    如果把这些结合在一起,阿里云就是OSS、亚马逊就是S3,低成本的对象存储作为冷存储池,同时利用高效的云盘做一个本地的缓存,计算节点进行解耦,对本地节点进行加速,通过高速网络连成一个池,再对应用做统一的透明式服务。

    AnalyticDB 云原生数据仓库

    15.png

    这个架构展开底下是对象存储,利用RAFT协议实现数据一致性,对每个计算节点的本地缓存加速利用ESSD弹性云盘。上面是计算池,在数据仓库为了实现大数据和数据库一体化,数据仓库领域的计算节点也需要将大数据的离线计算能力做得更强,离线大数据系统基本上都是基于BSP+DAG,传统数据库领域则是MPP架构,所以为了做到离在线一体化将MPP和BSP+DAG进行结合,做一个Hybrid的计算引擎,针对此再做一个Hybrid的查询和计算优化器。上面的是MetaData管理,力求做到原数据共享。

    云原生数据仓库AnalyticDB MySQL
    16.png

    AnalyticDB(ADB)就是基于这个思想设计的云原生数据仓库,ADB MySQL兼容MySQL这个生态,成为TPC-DS性能与性价比榜单第一。将交互式分析和复杂的离线ETL计算统一支持起来。ADB基于PG也做了另外一个版本,就是ADB for PG。针对传统数据仓库,例如TeraData、利用PG对Oracle的兼容性来做传统数据仓库的升级,利用云原生的架构,存储和计算分离,针对传统数据仓库进行云原生的升级改造,查询执行器和其他模块中做了大量优化。

    云原生数据仓库AnalyticDB for PostgreSQL

    17.png

    例如向量化执行(vector execution)、Code Generation,ADB PG也支持把非结构化数据向量化变成高维向量数据以后处理,然后将向量数据和结构化数据在一个引擎当中进行处理实现非结构化数据和结构化数据的融合处理。ADB PG拿到了TPC-H性能和性价比榜单第一的成绩。

    2)新一代数据仓库解决方案

    基于此推出了新一代数据仓库的架构,底下是核心的云原生数据仓库ADB,上面是数据建模和数据资产管理,因为数据仓库领域不仅仅是引擎的问题,还包括建模等一系列问题。针对传统数据仓库做了升级到云原生数据仓库的解决方案,利用ADB、生态合作伙伴以及整个智能化工具实现一体化的解决方案。

    18.png
    19.png

    DLA 云原生数据湖分析(Serverless,统一元数据+开放存储与分析计算)

    20.png

    数据源更加复杂与多样的场景是云原生数据湖和数据仓库最大的区别。数据湖的核心场景是对多源异构的数据源进行统一的管理和计算与分析处理。云原生数据湖拥有统一的界面对多源异构数据进行管理、计算和分析,核心点在于元数据管理和发现,集成不同的计算引擎对多源异构数据进行管理和分析。

    Data Lake Analytics + OSS 云原生数据湖

    21.png

    上图为云原生数据湖分析Data Lake Analytics的架构,下面是对象存储或者其它不同的存储源,搭载Kubernetes+Container技术,通过serverless技术来做分析和计算,以及多用户之间的隔离安全保护,这样可以满足客户针对多源异构数据实现低成本、弹性的丰富的计算和分析处理需求。

    2.3智能化、安全可信与生态工具

    1)云原生+智能化数据库管控平台

    22.png

    智能化的数据管控平台利用云原生技术和人工智能技术进行智能化的数据库管理运维,包括分区、索引推荐、异常检测、慢SQL治理、参数调优等,这样可以大量提升管理运维的效率,我们研发了一个Database Autonomy Service模块(DAS)来实现数据库系统的自动驾驶,大幅度提升运维管控的效率。

    2)云端全程加密数据永不泄露

    23.png

    除了传统的Access Control,传输与落盘加密,我们研发了全加密数据库,确保数据的绝对安全,结合安全硬件TEE来做到这一点,可以做到数据处理的全程加密。

    3)数据库生态工具

    24.png

    除了前面提到的数据库应用迁移工具ADAM和数据库同步工具DTS,我们还提供了丰富的其他数据库生态工具,包括数据管理服务DMS和数据数据库备份服务DBS,可以提供数据血缘关系、数仓开发与建模、数据安全管理、数据备份容灾、CDM等一系列的企业级数据处理能力和面向开发者的服务能力。

    4)数据库备份解决方案DBS

    25.png

    DBS可以做传统数据多云多端的备份,把线下的数据备份到云上,也可以把云上的数据备份到线下,实现秒级RPO,支持多种数据源多源多端的云备份,并且支持Snapshot Recovery。

    三、案例分析

    1)双十一购物节•数据库挑战

    26.png

    上图为2020年“双十一”真实曲线,145倍的系统峰值瞬间迸发,利用云原生能力和分布式能力的结合可以完美平滑地支持“双十一”高并发海量数据的挑战。

    2)中国邮政•大型传统商用数据库替换

    27.png

    中国邮政以前是基于传统的商业数据仓库,如今利用ADB云原生数仓进行升级,提供更可靠的离在线一体化计算分析能力,实现对全国数据寄递平台统一到一个系统的诉求。

    3)某超大型部委客户

    28.png

    国税总局的全国税务数据统一系统应用,利用PolarDB-X分布式数据库以及DTS和ADB实现了从TP到AP数据处理、计算、分析、查询、处理一整套的解决方案,同时通过DMS来做数据开发和管理。支撑高并发、低延迟的复杂查询;支撑海量实时数据实时可见和高效入库;支持金融级别的精准计算。

    4)阿里云数据库技术对抗新冠疫情

    29.png

    利用云原生数据库提供的弹性高可用和智能化运维能力,结合分布式去做水平拓展,为广大的企业和用户提供非常好的弹性高可用能力,疫情期间在线教育行业开始大规模地使用云原生、分布式的新一代数据库技术架构和产品实现降本增效对抗疫情。

    5)客户案例•中国联通

    30.png

    中国联通的核心cBSS系统,针对传统的商业数据库进行升级改造,利用分布式数据库PolarDB-X的能力帮助实现这种核心的计费系统实时在线的交易数据处理。

    6)客户案例•马来西亚电商巨头 PrestoMall

    31.png

    马来西亚的第三大电商PrestoMall,因为用传统的商业数据库Oracle成本太高,尤其是大促场景瞬间高并发的挑战,利用云原生数据库PolarDB对传统商业数据库进行升级改造,实现了TCO的大幅下降。

    7)客户案例•国际广告商数据湖分析+计算解决方案

    32.png

    某国际领先广告厂商,文字、图片、和结构化数据等多源异构数据的处理无法统一到一个数据仓库里面进行,利用数据湖来做一个统一的分析引擎。利用DLA+OSS构建了新一代serverless数据湖,大大提升了对多源异构数据的访问处理和计算能力、同时节省了大量的计算成本。针对复杂丰富的计算分析场景,实现平滑的解决方案顺利从AWS迁移过来。

    四、总结

    33.png

    上图为阿里云数据库的产品大图,从OLTP、OLAP、NoSQL到数据库生态工具与云原生智能化管控,阿里云希望利用丰富的云原生数据库产品体系为企业级客户和用户提供更好更可靠的产品与性价比更高的解决方案。

    【相关阅读】

    【内含干货PPT下载】DTCC 2020 | 阿里云叶正盛:数据库2025

    【内含干货PPT下载】DTCC 2020 | 阿里云赵殿奎:PolarDB的Oracle平滑迁移之路

    【内含干货PPT下载】DTCC 2020 | 阿里云朱洁:NoSQL最新技术发展趋势

    【内含干货PPT下载】DTCC 2020 | 阿里云王涛:阿里巴巴电商数据库上云实践

    【内含干货PPT下载】DTCC 2020 | 阿里云张鑫:阿里云云原生异地多活解决方案

    DTCC 2020 | 阿里云梁高中:DAS之基于Workload的全局自动优化实践

    【内含干货PPT下载】DTCC 2020 | 阿里云程实:云原生时代的数据库管理

    【内含干货PPT下载】DTCC 2020 | 阿里云吉剑南:在线分析进入Fast Data时代的关键技术解读

    原文链接:https://developer.aliyun.com/article/781040?

    版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
    展开全文
  • 原生分布式数据库与中间件的区别

    千次阅读 2019-02-15 15:01:13
    amp;from=timeline&amp;isappinstalled=0&amp;from=singlemessage ... 研究领域为数据库技术和分布式系统,主持过国家自然科学基金项目和多项企业合作项目,发表研究论文30多篇,曾参与交...
  • 10月22日上午,本届“2021 OceanBase 原生分布式数据库论坛” 上,OceanBase CEO杨冰为大家带来了《基础软件助力核心系统数字化转型》的主题演讲。 新物种原生分布式数据库 助力企业数字化 当下,数字化转型...
  • 云计算时代,云原生分布式数据库和数据仓库开始崛起,提供弹性扩展、高可用、分布式等特性。 数据库将面临怎样的变革?云原生数据库与数据仓库有哪些独特优势?在日前的DTCC 2020大会上,阿里巴巴集团副总裁、阿里...
  • 企业级分布式数据库实践专场__原生分布式数据库能力探讨.zip
  • 企业级分布式数据库实践专场__原生分布式数据库能力探讨
  • 阿里巴巴集团副总裁、达摩院数据库首席科学家李飞飞发表了题为《云原生分布式数据库系统——挑战与机遇》的演讲,探讨云原生数据库的价值和商业应用。一 背景与趋势云计算加速数据库系统演进 首先我们看一下云计算的...
  • TiDB 是 PingCAP 公司自主研发的开源分布式关系型数据库 TiDB,为企业关键业务打造,具备「分布式强一致性事务、在线弹性水平扩展、故障自恢复的高可用、跨数据中心多活」等核心特性,助力企业最大化发挥数据价值,...
  • 关系型数据库四大特性关于原生分布式数据库系统TiDB的简单测验TIDB
  • 目录分布式数据库架构分布式数据库发展梗概关于数据库文件系统了解一下LSM-TreeB+Tree VS LSM-Tree第一代分布式数据库——分库分表及分布式中间件普通分布式中间件阿里OceanBase数据库第二代分布式数据库——NoSQL第...
  • 在为数不多的原生分布式数据库中,OceanBase 2.0是第一款支持存储过程功能的产品。本文将为你深入剖析2.0中存储过程的功能特性和实现机制。更多精彩欢迎关注OceanBase公众号持续订阅本系列内容! 引言 ...
  • 数据智能产业创新服务媒体——聚焦数智· 改变商业在数字化时代,数据量呈现指数级增长,尤其是视频、图像、语音等数据急速积累。数据库,在整个数据价值体系中,承担着基石的作用。海啸一般的数据正...
  • 2019年7月19-20日,以...在DAMS峰会上,巨杉数据库为大家带来了题为“云架构下的分布式数据库设计与实践”的主题分享。 微服务下数据库架构的演进 应用开发从传统架构向分布式转型,最先面临改造的自...
  • 如今,我们正处于数据库从互联网基础软件转变为社会数字化基础软件的时代,在传统集中式数据库已不能满足大规模数据承载需求与高并发处理需求的形势下,基于海量数据场景应用而生的分布式数据库迎来应用热潮。...
  • 聊聊主流的分布式数据库

    千次阅读 2021-04-28 00:38:02
    单体数据库时代,随着系统交易量的不断上升,数据库读写性能出现了严重下降。我们可以借助分库分表中间件,比如mycat、shardingjdbc来实现分库分表,缓解单库的读写性能。但是分库分表...
  • 该接口只是提交了删除数据库的任务,接入方需要依据 DescribeDrds 接口(查询数据库信息的接口)的返回结果来判断分布式数据库是否删除成功。 请求参数 参数名 类型 是否必须 描述 Action String ...
  • 引言分布式数据库替代传统商业数据库是近年最热门和最具争议的话题。理论上没有什么数据库不能被替代,现实却往往是代价大到难以承受。怎样才能更好的降低替代带来的代价呢?开源数据库TiDB创始人黄...
  • 12月15-16日,以“引领分布式云变革 助力湾区数字经济”为主题的全球分布式云大会在深圳隆重召开,在会上,阿里云原生分布式数据库PolarDB-X荣获“2021年度最佳分布式数据库”,表彰作为国产自研云原生数据库产品在...
  • 分布式数据库技术发展多年,但是在应用、业务的驱动下,分布式数据库的架构一直在不断发展和演进。开源金融级分布式数据库SequoiaDB,经过6年的研发,坚持从零开始打造数据库核心引擎。在技术探索中,选择了更适合云...
  • 分布式数据库架构及企业实践——基于Mycat中间件》对 Mycat 从入门到进阶、从高级技术实践到架构剖析、从网络通信协议解析到系统工作原理的方方面面进行了详细讲解,并剖析了 Mycat的 SQL 路由、跨库联合查询、...
  • 简介:阿里云原生分布式数据库PolarDB-X荣获“2021年度最佳分布式数据库”。 12月15-16日,以“引领分布式云变革 助力湾区数字经济”为主题的全球分布式云大会在深圳隆重召开,本届大会由全球分布式云联盟、深圳...
  • 分布式数据库汇总

    千次阅读 2019-09-20 15:08:28
    就是bigTable 支持数十亿列 Apache HBase是一个使用Java语言编写的、 以谷歌BigTable技术为基础的开源非关系型列式分布数据库, 可运行在HDFS文件系统之上。HBase提供了很好的存储容错能力和快速访问大量稀疏文件的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 52,212
精华内容 20,884
关键字:

原生分布式数据库