精华内容
下载资源
问答
  • 数据库即服务(DBaaS) 介绍 这是用python + django编写的数据库即服务api的实现。 它将尝试在整个api调用中遵循一些超媒体概念。 下图:管理员用户的屏幕截图。 图1:列出数据库及其摘要信息。 图2:示例数据库...
  • Navigator-Kubernetes上的自助式DBaaS Navigator是Kubernetes的扩展,用于管理Kubernetes上的常见状态服务。 它被实现为一个自定义的apiserver,在后面并引入了各种新的Kubernetes资源类型。 这种设计的结果是,...
  • Oracle基于数据库技术和综合管理平台,以Database12c及Enterprise manager 12c为基础,为客户提供DBaaS的完整服务支持,DBaaS(即Database as a service)作为一项开创性的技术,不仅可让企业用户自助部署 IT 资源,...
  • DevOps, DBAs, and DBaaS pdf

    2018-08-06 11:17:29
    DevOps, DBAs, and DBaaS investigates the complex intersection between DBA functions and DevOps processes. DevOps teams traditionally viewed DBAs as process outliers who disrupt and retard SDLC ...
  • DevOps, DBAs, and DBaaS investigates the complex intersection between DBA functions and DevOps processes. DevOps teams traditionally viewed DBAs as process outliers who disrupt and retard SDLC ...
  • DBaas

    千次阅读 2016-12-08 13:54:40
    数据库的运维和调优是DBA最基本的两项工作,而新一代的数据库技术将把这两项工作弱化,取而代之以数据库即服务(DBaaS)模式,把更多的工作交给服务商来进行。那么未来DBA价值究竟体现在哪? 在过去的几年里,...

    随着技术的高速发展,数据库自动化程度越来越高,上百个数据库都可以整合成为一个容器数据库进行管理,维护工作量大幅减少,维护难度也大大的降低;内存技术让数据库的性能迅猛增强。数据库的运维和调优是DBA最基本的两项工作,而新一代的数据库技术将把这两项工作弱化,取而代之以数据库即服务(DBaaS)模式,把更多的工作交给服务商来进行。那么未来DBA价值究竟体现在哪?

    在过去的几年里,DBA的角色已经发生了巨大变化,未来也将会有更多的变化。同时产品的开发周期越来越短,DBA的角色也会因此不断的被边缘化。 


    只要有数据库,DBA这个职位肯定就一直会存在,只是DBA更多的是为DBaaS服务供应商打工。未来DBA的工作就是在数以千计的逻辑数据库上处理PB级别的数据和十亿级别的操作。DBA们将以更自动化的、更成熟的数据库技术去处理越来越复杂的工作任务。DBA们一定要在数据库自动化技术方面多下功夫,以免被市场所淘汰。 


    Oracle数据库技术大牛Jonathan Lewis曾经在接受记者的采访时开玩笑说:按照Oracle的节奏,以后企业就不需要DBA了,唯一存在DBA的公司也许就是Oracle自己了。企业的数据库越来越多,但DBA却越来越少了,每一个DBA所要负责的数据库越来越多。数据库方面的人才需求在降低。很多DBA方面的高手是在负责很大型很复杂的数据库系统,只有这些系统是企业不敢拿到外部让云服务商进行托管的。那么最终剩下的也许就是这些技术高手。 


    当然并不是所有业内的人士都像Jonathan Lewis这样消极,“Exadata之父”Juan Loaiza则认为,新的数据库技术是为了降低企业维护数据库的难度,而在数据库即服务(DBaaS)这样的模式下,企业可以把之前基础架构运维方面的工作交给服务商,而他们的DBA可以将更多的精力放在业务层面的工作上。 


    的确没错,现在许多企业都开始将终端用户与开发人员和系统管理员紧密地结合在一起。而DBA要考虑的已经远不止数据库本身那么简单,他们需要更多地与其他IT基础架构负责人以及业务人员进行沟通,DBA的角色将发生很大变化。同时DBA也要做好应对大数据的准备,不仅仅是如何管理好大数据,更重要的是如何利用好大数据,让大数据给企业带来更多的价值。 


    很多人将IT视为所有业务背后的引擎。但大多数时候IT只是一种传动装置。IT负责接收能量,然后将它输送到传送带上,从而给业务提供能量并使它前进。事实上,包括DBA在内的每一位IT技术人员都与业务息息相关。他们或者是在解决业务问题,或者是帮助业务人员更好地利用工具。资深数据库专家认为:DBA思维方式需要发生一些改变,因为DBA要学会用业务的语言说话,学会表述业务,要与业务人员有效地沟通,使业务人员理解DBA的工作如何直接影响到公司目标的实现。

    展开全文
  • K2HDKC DBaaS 基于Trove的K2HDKC DBaaS 总览 K2HDKC DBaaS(数据库作为K2HDKC服务)是一个数据库作为由提供服务 ,其包含作为数据库中的一个。 K2HDKC DBaaS与OpenStack组件一起提供数据库即服务功能。 用户可以...
  • 在开始前,我想先介绍介绍一下我们在数据库即服务(DBaaS)方向的努力过程。我们是在2013年,当时云计算概念刚开始推广,中国银联研究院需要完成一个数据库云的研究性项目。在当时很多云计算项目都是基于虚拟化,...
  • k2hdkc_dbaas_override_conf:K2HDKC DBaaS覆盖配置
  • DBaaS体系及特性

    千次阅读 2016-01-12 11:33:06
    将数据库以云服务模式交付给用户,就是数据库即服务——DBaaS,也称云数据库。 传统数据库管理面临诸多挑战是DBaaS兴起的驱动力,概括起来有以下几个方面: 资源利用率低:与服务器虚拟化的情形相似,传统IT...

    用户对云计算的交付能力已经不再满足于单纯的基础设施(IaaS)交付,他们希望数据中心中的更多传统IT 服务能以云服务模式进行交付,其中最为迫切的就是数据库。将数据库以云服务模式交付给用户,就是数据库即服务——DBaaS,也称云数据库。

    传统数据库管理面临诸多挑战是DBaaS兴起的驱动力,概括起来有以下几个方面:

    资源利用率低:与服务器虚拟化的情形相似,传统IT烟囱式部署架构,不仅导致应用服务器资源利用率低,大量的数据库服务器同样资源空闲严重,造成硬软件投资浪费。

    使用成本高:数据库是业务数据的载体决定了数据库运维管理的重要性,需要具备专业数据库技能的管理员才能驾驭数据库的日常运维;昂贵的数据库软件license和维保成本令IT管理者头疼。

    管理难度大:数据的高安全性和完整性要求决定了数据库架构的复杂性,服务器HA、容量管理、监控、容灾备份和恢复等都对管理员造成了极大了压力。

    业务响应慢:传统的数据库部署都是被动响应客户的需求,从接收需求到完成交付通常都需要几周至几月的时间,严重制约业务部门的工作效率。

    云数据库的诞生,使得困扰用户的上述问题得以迎刃而解。

    一、数据库即服务的目标

    云数据库将数据库资源池化,通过网络将服务交付给客户,如图1所示。传统各委办局都需要各自建设维护自己的数据库系统,在DBaaS模式下,他们只需通过一个WEB门户提交数据库需求申请,就可以快速获得所需要的数据库系统,省时省力。

    数据库即服务的目标在于:

    1)帮助业务部门减少数据库总体拥有成本(TCO)。通过平台的整合、标准化,充分利用硬件资源,合理的共享数据库软件,减少数据库软件使用量,从而从整体上降低数据库使用成本。

    2)数据库资源的敏捷交付。业务部门不再需要经过漫长的无奈的等待去获取到数据库资源,他们可以通过自助服务的方式,选择所需的配置规格,几分钟后就可以生成数据库实例。而且,随着业务量的变化,可以在线申请资源扩容,享受到云弹性的优势。

    3)降低管理员负担。将繁琐的、低效的手工部署和配置、监控工作程序化、自动化,大大解放数据库管理员的工作负荷,使得数据库管理员可以聚焦到更有价值的工作上。

    DBAAS 云计算 数据库

    图1数据库即服务实现数据库资源池化

    二、数据库即服务的体系架构

    云平台的标准体系架构由物理层、虚拟化层、云服务层、云运维管理、云服务管理、云安全管理6大部分构成。云数据库不同于云主机,云数据库一般基于物理服务器和物理存储部署,这是因为数据库服务器负载通常高于应用服务器,承载数据库的服务器本身不适合虚拟化。因此云数据库的体系架构与云计算平台的体系架构稍有不同,数据库即服务的体系架构如图2所示:

    DBAAS 云计算 数据库

    图2数据库即服务体系架构

    物理层以高性能服务器、高性能存储和网络设备构成。数据库资源层负责将数据库资源池化,形成各种类型的数据库资源池,如Oracle资源池,MySQL资源池,PostgreSQL资源池和SQL Server资源池。数据库服务层通过门户向租户提供数据库资源自动化交付、数据库生命周期管理、账号管理、表空间管理、报警管理、备份恢复管理等功能。

    云安全防护平台为物理层、数据库资源层、数据库服务层提供全方位的安全防护,包括漏洞扫描、主机防御、租户隔离、认证与审计、数据安全等模块。满足国家有关云安全标准的要求。云运行监控与维护管理平台为云平台运维管理员提供设备管理、配置管理、镜像管理、备份管理、日志管理、监控与报表等,满足云平台的日常运维的需求。云服务管理平台主要为云服务管理员提供服务交付的管理,包括组织架构管理、租户管理、云业务流程定义、计费策略定义等。

    三、数据库即服务的特性

    3.1 兼容主流数据库

    数据库即服务给传统IT带来的价值需要体现在能够兼容现有的业务应用上。存量的业务系统如果不能迁移到云上,其价值将大打折扣,对客户的吸引力也会大大降低。

    目前在多数行业,基于Oracle开发的业务系统占据大部分比例。图3所示的是某省级政府各厅局委办业务系统所使用数据库的占比图。从图中可以看到,商业数据库软件在业务系统中占据绝对优势。因此,DBaaS服务能兼容的数据库类型就成了衡量DBaaS产品的关键指标。

    DBAAS 云计算 数据库

    图3政务业务使用数据库类型统计

    典型的DBaaS服务应能提供对目前主流数据库的支持:Oracle、SQL Server和MySQL。广泛的兼容性保证了客户的应用能够平滑的、以较小的代价迁移到云上。

    3.2 高安全

    DBaaS是一个多租户共享使用的环境,租户数据安全除了基本的数据库安全管理以外,还需要针对云环境进行安全加强。DBaaS安全体系架构如图4所示。

    DBAAS 云计算 数据库

    图4DBaaS安全体系架构

    DBaaS应支持以下增强的安全特性:

    租户网络隔离:云的基本安全原则就是租户网络隔离,云数据库须满足不同的租户网络严格隔离的要求。

    资源隔离:数据库实例对硬件资源的需求如CPU、内存资源可以得到隔离保护,IO资源最大使用量可以得到限制,避免租户数据库之间的资源争用和相互干扰,确保数据库服务SLA的达成。

    数据库软件级隔离:不同租户的数据库实例使用不同的数据库软件代码,使得租户数据库升级或者打补丁不会对其他租户造成影响;而且可将数据库的最高管理权限交还给租户,保证仅云租户拥有其数据库的最高管理权限——此为公安部信息系统安全等级保护标准的要求。

    数据库审计:在云环境下,数据库审计应采用基于流量旁路的审计方案且只有租户能看到属于他们数据库的审计信息。

    自定义备份:支持租户按库灵活定义备份策略。如备份方式,全备份或者增量备份;备份周期是日备份、周备份还是月备份等。

    访问安全:支持租户配置访问控制列表,基于IP白名单授权访问。

    3.3 高可用

    DBaaS高可用预防单点故障,其实现原理如下:将多台服务器(大于2台)组建成集群,让它们都提供数据库服务,再配置1台或多台服务器作为整个集群的热备服务器,有点类似于硬盘Raid组hotspare盘,集群中的任何生产节点都可以共享备份节点。这样就既实现了HA,同时又将资源闲置率降到了最低。其架构示意图如图5所示。

    DBAAS 云计算 数据库

    图5 DBaaS高可用实现

    3.4 灵活性

    DBaaS的灵活性体现在以下一些方面:

    弹性,同其他云服务一样,DBaaS的弹性是基本要求。用户能对数据库实例自助增加CPU、内存、数据盘和IO资源,以满足业务增长的需要。

    配置灵活性,用户能针对数据库实例的属性进行自配置,如修改IP、实例名或者端口;能对备份恢复策略进行修改;对数据库监控要素和报警阀值进行自定义。

    数据库迁移,提供数据库迁移功能,以便自动实现实例在物理服务器间的迁移。

    数据交换,支持数据库导入导出,实现与外部数据的交换。

    四、数据库即服务的自动化交付流程

    数据库即服务的自动化交付流程如图6所示:

    DBAAS 云计算 数据库

    图6 DBaaS自动化交付流程

    由管理员在物理机上安装好操作系统,并安装好数据库模板。管理员将物理机加入物理资源池管理,配置集群和相应参数。

    租户通过门户填写数据库请求,提交数据库类型、CPU核数、内存、连接数、网段、字符集等数据库参数;

    由租户管理员审核申请并审批通过;

    系统下发租户的数据库参数;

    DBaaS平台根据租户请求在物理机资源池中挑选最合适的一台服务器,并在其上自动创建所需的数据库实例;

    DBaaS平台将数据库信息及账号发送给租户,租户使用数据库。

    五、数据库即服务的适用场景

    数据库即服务实现了数据库的整合、服务的敏捷交付以及系统的自动化部署功能,因此,数据库即服务具备广泛的适用场景。

    在传统IT环境,各种数据库分散部署,资源割裂不能共享,维护困难,软硬件成本高昂。使用DBaaS能有效提高资源利用率,合法共享昂贵的数据库软件,减轻维护人员的工作负荷。下面对传统部署模式与DBaaS部署模式的直接成本进行一个简单对比,以5台Oracle数据库服务器为例(需支持热备),传统模式下需要部署在10台服务器上(两两组成集群),DBaaS模式下只需要3台服务器(2主1备),假设传统每台5万,共10台;DBaaS每台7万,共3台; 假设每台服务器购买4CPU license,5万/CPU。综合数据库软件成本(不计维保费用),对比如下表:

    成本构成          服务器   CPU            总计

    传统模式(万元)      50       200              250

    DBaaS模式(万元)     21         60                 81

    表1传统模式与DBaaS模式成本对比

    很显然,采用DBaaS模式可以将软硬件成本大幅降低。

    在私有云环境下,DBaaS将数据库打包成云资源,与计算、存储资源一样以云服务方式交付给业务部门,使得业务部门享受到快捷、弹性的数据库服务。在专有云环境下,云服务商通过DBaaS服务丰富云服务目录,拉近与业务的距离,增强用户粘性。建立客户和云服务商双赢、持久共存的云生态环境。

    结束语

    数据库即服务随着云服务模式的流行正在被广泛关注和认可。它不仅让用户不再关心底层的物理硬件和操作系统,甚至连数据库的部署和管理都不用关心。让用户能够将精力聚焦到他们的核心业务上去,或者极大的提升传统IT部门和业务部门的生产力。数据库即服务产品在传统IT、私有云和专有云领域都有它的用武之地。在用户需求和云计算技术的双重推动下,数据库即服务必将得到越来越多用户的青睐。

    本文来自:http://www.chinaz.com/news/2016/0104/491690.shtml

    展开全文
  • Oracle的DBaaS主要是由OEM12C实现的,在装OEM12C的时候,需要选中如下组件:...
  • PingCAP 联合创始人兼 CTO 黄东旭受邀在主会场进行了以 “TiDB Cloud:from Product to Platform” 为主题的演讲,分享了云原生时代数据库产品平台化的重要性,以及 TiDB 从 DB 到 DBaaS 的经验和体会。以下为分享...

    10 月 18 日~ 20 日,第 12 届中国数据库技术大会(DTCC2021)在北京国际会议中心隆重召开。PingCAP 联合创始人兼 CTO 黄东旭受邀在主会场进行了以 “TiDB Cloud:from Product to Platform” 为主题的演讲,分享了云原生时代数据库产品平台化的重要性,以及 TiDB 从 DB 到 DBaaS 的经验和体会。以下为分享实录。

    在最近数据库行业的发展中,比起 “代码写得好不好” 这样的工程技术问题,科学问题更加突出:有一件事情非常深刻地改变了整个数据库的行业,那就是数据库底层发生了变化。以往大家去思考数据库软件和系统软件,都会先做一个假设:软件是跑在计算机等具体的硬件上的,即使是分布式数据库,每个节点都还是一个普通的计算机。现在这个假设改变了:我们的下一代到能够学编程或者写代码的年纪,不会再像我们现在这样能够看到 CPU、硬盘、网络,他们看到的可能就是 AWS 提供的一个 S3 的 API 。其实这种改变并不仅是软件载体的改变,更重要的是架构、编程的底层逻辑发生了变化。云对基础设施和软件的影响和改变是深远的。具体到 PingCAP 身上,最大的感受就是比起做数据库内核, 现在在云上做 TiDB Cloud 服务的投入可能多得多。这也是我今天要分享的主题,From Product to Platform —— 从 DB 到 DBaaS,数据库技术的当前和未来

    PingCAP 的创业初心

    图片 1.png

    上图是我理解的数据库发展历程。追溯到十几年前,我们开始使用单机 MySQL,这个时期我们对数据库的需求只有朴素的增删改查,2010 年前后直到今天,爆发的数据量让单机数据库难以为继,大家只能通过分库分表或者中间件来实现分布式部署。

    然而分库分表对业务的入侵性太大,那能不能有这样一个数据库,用起来和单机 MySQL 一样简单,但是扩容时不需要考虑分片,而是通过系统本身的机制来实现弹性、舒适、业务无入侵的拓展?这就是 PingCAP 创业的初心。

    PingCAP 创业六年多以来,为了达成这个小目标,也总结了几点心得

    易用优先:协议大于实现

    MySQL 协议比 MySQL 具体软件更重要。如果一款数据库能够兼容 MySQL 协议,能让用户在数据库的选型过程中无需考虑对应用和业务的影响,就能拥有最大的用户群。我们无需发明一种新的使用方式,就像电动车还是会通过方向盘和油门来操控,虽然引擎下的世界和汽油车完全不同。

    用户体验优先

    数据库的性能指标比如 TPS、QPS 等固然重要,但是用户的体验才是一款数据库成功的关键。因此,TiDB 在做所有技术决策的时候都是通过用户体验(Usability matters)来判断。从我过去的经验来看,许多互联网公司需要维护的数据库种类非常多,每启用一种新的数据库就会多一个数据孤岛。因此,在满足用户数据处理需求的同时,简化的技术栈可能才是真正的用户痛点。无论是 OLTP、OLAP 还是 HTAP,TiDB 希望做的事就是让大家的生活变得好一点。

    开源优先

    PingCAP 始终坚持开源战略,也因此受益颇多。从生态角度,开源的研发模式能够迅速积累用户。TiDB 1.0 版本 2017 年 11 月发布,从诞生到现在,我们知道名字的用户有 2000 多家,贡献者有 1500 多个,CNCF 开源组织的 Contribution Rank 中,PingCAP 排名全球第六。

    技术角度,开源加速了产品的迭代速度。这张图的纵轴是代码量,横轴是时间,不同色块是代表某一年写的代码量。从图中我们能够看出,基本上每年 TiDB 的代码都在被重写,几乎没有一年是跟去年的代码一样。这个迭代的速度就是通过开源社区来实现的,是任何一个团队、任何一个公司、任何一个企业从头开始做一个数据库都无法达到的进化速度。

    Why DBaaS

    TiDB 的产品能力不是今天分享的重点,我今天想谈的是把一个产品变成云服务到底有多重要。首先抛出一个最终结论,现在这个时代对 CIO 尤其是海外的客户来说,数据库产品对云的适配成为了一个必选项。

    现在我们正好站在时代的交界点上。从技术上来讲,数据库的发展就是从 Standalone(单机)到 Cloud-Native(云原生)的进程。现在我们处在第二条红线的位置,就是从 Shared-Nothing 到 Cloud-Native 的边界。从商业角度看,整个数据库和基础软件行业的商业模式也正在发生特别大的变化:过去我们希望通过售卖 license 进行私有化部署,到现在希望能够实现规模化的扩张,这也正是 On-Prem 到 DBaaS 变革。作为一家成功将数据库商业化的公司,MongoDB 走出了一条很有代表性的道路。MongoDB 每年的市值都在翻番,现在已经到达了 300 多亿美金。从 MongoDB 的财报可以看出,DBaaS 产品 MongoDB Atlas 基本上每年都保持着超过 100% 的年复合增长率,这就是云服务的价值所在。

    TiDB 在云上的平台化之路

    最近两年我也重新定义了一下我们的愿景和使命:全世界的开发者享受到我们的服务,Anywhere with Any Scale。想要实现这个目标,从 DB 到 DBaaS 是个必选项。只有云上的服务才能突破地域的限制,并提供无限的算力。从 DB 到 DBaaS,远不止将底层资源换成云这么简单,需要考虑的还有很多。技术上,要实现降本增效、运维自动化、多租户管理,合规上要考虑数据安全,商业上,计价模式、商业化策略等都是需要纳入考虑的范围。接下来我将从技术角度谈谈 TiDB 在 DBaaS 进程中付出的努力。

    成本节约:分离的架构设计

    云原生技术最终要解决的就是成本的问题。在过去,TiDB 有一个 TiDB + TiKV 的协处理引擎,计算和存储的边界是非常模糊的,很难处理不同负载率的场景。本地部署的情况下,如果需要增加存储容量,就需要增加存储节点,因为硬件的限制,除了磁盘,CPU 及网络带宽也会同步增加,这就造成了资源的浪费,这是所有 Shared-Nothing 的数据库都要面临的问题。

    而到了云上,一切就截然不同。比如 AWS 的块存储设备的服务 EBS,特别是 GP3 系列,能够在不同的机器上运行,且达到同样的 IOPS 和 Cost,性能和对云原生的整合都非常好。为了利用 GP3 的特性,我们是否可以把计算和存储的边界往下移,从原来的 TiKV 到存储,到现在 TiDB、TiKV 的大部分都可以是计算单元,更加灵活。

    云带来的成本节约不止于此。云上真正值钱的东西是 CPU,瓶颈会是计算,而不是容量。集群和实例可以基于资源共享池进行优化(Spot instances & Clusters based on shared resource pools)、按需选择存储服务的类型、对不同类型的 EC2 实例在特定场景组合交付、无服务器计算、弹性的计算资源都将成为可能。此外,根据我的判断,除了计算存储分离,网络、内存,甚至 CPU 缓存都会是分离的。因为对一个应用程序来说,尤其是分布式程序,硬件资源的要求是不一样的。不管是做什么业务,就像做菜一样,手上只有一颗菜肯定做不出什么花来,但原材料很多,就可以按照口味去做组合,云带来的就是这样的机会。

    安全性

    除了成本,云的安全性也是重要课题。TiDB 官方支持的公有云是 AWS 和 GCP。云上网络用户使用的都是自己的 VPC,中间也会有 VPC Peering 打通的环节,我们看不到用户的数据,但用户可以很高性能地访问自己的业务,安全性要怎么保证?

    图中是 TiDB 的安全体系,云上的安全体系和我们云下的思考完全不同。举个特别简单的例子:云下只需要考虑 RBAC 数据库内部的权限,但在云上就非常复杂,需要考虑从网络到存储一整套的用户健全安全的体系。做好云上安全的关键点是千万不要自己重复发明,因为基本都有安全漏洞。所以我们现在就是要充分利用云本身提供的一套完整的安全机制,比如密钥管理和规则等。当然,最好的地方都是这些服务都能够明码标价,只要做出计费模型就好了。

    运维自动化

    关于 DBaaS 的构建还有一点很重要,其实也和成本有关,就是运维自动化。云是一个规模化的生意,而现在国内数据库生意最麻烦的部分之一就是交付。一个大客户恨不得派二十个人驻场,但这件事情可持续吗?。我们要实现的就是可以通过 10 个人的交付团队去支持有 1000 个客户的系统,这是规模化的前提。

    这些是 TiDB 自己的云服务技术选型,通过 Kubernetes 实现云上部署,通过 Gardener 进行联邦管理,管控多个 Kubernetes 集群,Pulumi 是一个基础架构即代码的自动化工具

    Kubernetes

    要把 TiDB 变成云服务总共分为几步?第一步就是人肉运维全部变成代码。TiDB 要扩容了,不要人肉扩容,系统自己能不能扩容?TiDB 故障恢复,人参与不了,机器能不能参与?我们把所有 TiDB 的运维全部变成了 Kubernetes Operator,相当于我们实现了自动运维 TiDB。Kubernetes 能够屏蔽所有云厂商的接口复杂性,每个云厂商都会提供 Kubernetes 服务。

    Pulumi

    刚才说过这些东西的部署、运维、调度的逻辑,如果都是靠人写脚本,一是不稳定,二是不可维护。我们的理念就是只要能够变成代码的东西就固化下来,千万不要依赖人,包括去开一个服务器,或者去买一个虚拟机,我们都会把它变成 Pulumi 编程语言的脚本。

    Gardener

    TiDB 通过 Gardener 的 API 来管控多个不同 Region 里的 Kubernetes 集群,每个 Kubernetes 集群再去划分不同租户的 TiDB 集群,形成一个多云、多区域、多 AZ 的大的系统。这个架构有一个好处:用户可以在自己应用程序所在的云服务商和地理区域按需启用 TiDB,保持技术栈的统一。

    商业 SLA

    SLA 里面要考虑的东西也很多,这是 TiDB 要做的且正在做的东西。TiDB 的海外客户特别多,海外用户对数据库的需求与国内用户有很大不同,跨数据中心是一个刚需。由于现在各国的数据安全需求,数据的传输有了诸多限制,合规的、跨数据中心的能力对数据库来说十分重要。比如面对欧洲的 GDPR 管控,如果能把一部分数据就放在欧洲,不要出来,只有不在管控范围内的东西能出来,就会省去很多麻烦。相信接下来这个能力对于中国的厂商和客户,包括做出海以及在国内做合规都会变成刚需。这个功能在云上很容易实现,比如 AWS 本身就是多 AZ、多 Region 的架构,无需考虑底层,在另外一个数据中心开几台机器,用户只需要在界面上点一下鼠标数据就过去了,但对于无法在云端部署的数据库来说,如果要去处理全局的数据分布或者全局 Transaction 和 Local Transaction,需要考虑的东西就多得多。现在 TiDB 就是未雨绸缪,这项功能已经马上就要发布了。

    想要在云上提供服务,技术固然重要,合规是个前提。云上的生态整合有一个主线,就是跟着数据走,数据的上游、下游和管控是最重要的三个点。TiDB 的上游就是 MySQL、S3 里面的数据文件,下游只需要支持与 Kafka 或其他消息队列服务的同步即可。在数据的管控层面,在云上尤其是对海外用户来说,比起通过数据库厂商去做整体的管控,更希望和类似 DataDog、Confluent 这样的平台打通。最后打个广告,TiDB 在 Q4 会推出对开发者的为期 12 个月的免费体验版,能够快速部署,默认支持 HTAP 功能,通过容器实现计算隔离,同时具有专用的块存储,大家在云上可以随意使用。我们的网址是 tidbcloud.com,未来也会支持国内的云,期待大家的体验和反馈。希望 PingCAP 能够真正做到:让全世界的开发者享受到我们的服务,Anywhere with Any Scale。

    展开全文
  • DBaaS-(云数据库)产品捆绑在一起,提供了一组数据管理服务,公司不需要部署和管理自己的数据库服务器和基础设施,这些数据库由第三方托管和管理,由全球各地的云用户按一定价格访问。   除此之外,还有许多其他因素...

    作者| Rohan Wadiwala、Mangesh More

    翻译 | 天道酬勤,编辑 | Carol

    出品| CSDN云计算(ID:CSDNcloud)

    在分析的世界中,网站的每次点击都是数据分析的候选对象,显然,这会涉及大量的数据生成。

    对于海量数据,不仅需要拥有庞大的数据库来保存原始数据,还要保存经过简化、汇总和分析的数据,作为生成MIS和其他分析报告的来源,以供最高管理层决策。

     

    我们所说的‘「大型数据库」中的这些数据是堆积了很多天甚至几个月的。尽管企业采用通过压缩/清除并将数据作为历史数据存储在其他某个位置(数据库)来控制和管理此类数据的方法,但这也需要大量的数据库空间,并且在一段时间内很难管理。

     

    这个庞大的数据库需要如下两个重要的事项:

    • 数据管理

    • 数据性能

     

    毫无疑问,以上两者紧密相连。这两个与数据有关的问题构成了探索处理数据新方法的基础。

     

    对云数据库(DBaaS)的需求

     

    谈论正在产生的大量数据以及出于分析目的管理此数据的需求,需要公司管理大型数据库存储容量。这导致了巨大的间接管理成本,因此需要一种解决方案来解决这一问题。这要求为数据库提供高度可扩展的托管服务或提供数据库作为服务

     

    像SAAS(软件即服务)和PAAS(平台即服务)一样,数据库也作为一种服务提供,称为数据库即服务(DBaaS)。

     

    DBaaS产品在云计算平台上运行,因此也称为云数据库。

     

    云数据库(DBaaS)架构

     

    云数据库或DBaaS概念不承载或部署自己的数据库,而是出租数据库并将其用作服务。下面给出并解释了传统以及DBaaS的体系结构。

     

    传统数据库:在传统数据库中,我们有内部数据库服务器、用于承载应用程序的应用程序/分析服务器以及用于连接数据库的专用或专用连接。公司拥有所有服务器,并且必须承担与数据库的采购、安装和维护相关的全部费用。

    架构图如下:

    传统数据库架构

     

    DBaaS(云数据库):云数据库设置如下所示。云数据库由各种服务提供商托管,可以通过公有云网络租用。公司利用该服务节省了数据库的采购、安装和维护成本。

    架构图如下所示:

    云数据库(DBaaS)架构

    云数据库或DBaaS的利弊

     

    建立和维护一个传统数据库可能会非常昂贵和费时,并且这可能是一个难以管理的过程,尤其是对于资源有限且对数据库的需求较小的企业。

     

    DBaaS意味着各种大小的企业都可以调整数据库大小来满足其需求和预算,并可以随着每天和每年的变化而动态地扩展其数据库要求。

     

    DBaaS-(云数据库)产品捆绑在一起,提供了一组数据管理服务,公司不需要部署和管理自己的数据库服务器和基础设施,这些数据库由第三方托管和管理,由全球各地的云用户按一定价格访问。

     

    除此之外,还有许多其他因素需要基于云的DBaaS与传统方法相比。其中提到的一些因素如下:

    • 需要管理大量数据。

    • 运营效率(存储和维护如此庞大的数据的成本大大减少)。

    • 加强容灾恢复和业务连续性。

     

    根据国际数据公司(IDC)的预测,云上应用程序的部署将同比增长15.3%。该报告还指出,使用云计算可提供@ 520%的投资回报率,原因有以下几点:

    • 加快70%的上市速度。由于数据库已经可用,因此不需要延迟采购和基础设施。我们可以直接使用数据库服务并托管我们的应用程序。

    • 多发布80%的应用程序:由于多个应用程序随时可以在云上托管,因此我们可以充分利用这些应用程序的可用性。

    • 基础设施成本降低了75-85%。如上所述,不需要整个基础架构成本以及网络成本和与之相关的开销以及维护。DBaaS提供商会负责所有这些工作,并且公司只使用服务的优势。

    根据预测,超过75%的公司采用云优先策略,并且云计算的年增长量也在同比增长。

     

    使用DBaaS /云数据库的优势

    • 高度可扩展–接近无限数据存储容量。

    • 成本效益–这是为使用的产品付费的最大优势,同时还消除了硬件和网络成本。

    • 对于那些努力管理数据的企业,云可以提供一种低成本的替代方法,而不是投资于基础架构,在自己的网站上管理所有数据。

    • 对于DBaaS,公司为其使用内容和使用时间付费。当增加或减少存储空间时,其无限的可扩展性是一个很大的优势。

    • 数据库许可和续订费用由服务提供商承担,企业需要对此进行投资。

    • 服务提供商还负责数据安全性和业务连续性。

     

    不过,此数据库托管服务有一些明显的缺点。

    使用DBaaS的缺点

    • 没有对数据库的直接访问控制。如果出了问题,将束手无策。

    • 无法控制服务器的物理安全。如果服务器所在的地方发生自然灾害或系统出现故障,那么即使没有数据丢失,也可能要面对停机时间。

    • 无法直接控制敏感数据,而只能依靠云数据库服务器管理。

    • 对于较小的公司或中型数据库(数据库大小小于1 TB),在一段时间内维护自己的数据库服务器可能值得的,确实具有成本效益。

    可用的DBaaS

    市场上广泛使用的一些DBaaS有Amazon关系数据服务、Amazon DynamoDB、谷歌云SQL、谷歌BigQuery、Azure Cosmos DB、Azure SQL数据库、IBM云数据库、Oracle数据库云服务等。

    本地传统数据库和云DBaaS之间的比较

    措施

    本地数据库

    云数据库/DBaaS

    可靠性

    可靠性和隐私性

    更可靠但不一定隐私

    可伸缩性

    有限的可伸缩性

    无限的可伸缩性

    速度

    速度更快,但可能会在任何时间点故障(防止硬件故障)

    一直很快

    部署

    部署需要时间

    在任何时间内部署

    成本和效益

    需要大量资金配置本地数据库服务器

    只为使用的付费,极具成本效益,不涉及间接费用

    维护

    维护成本很高,所有费用由公司承担。硬件、技术人员、DBA和其他基础设施。

    无序维护费用,支付使用的费用

    配置成本

    整个安装费用由公司承担

    整个安装费用由供应商承担。公司仅支付服务费用

    安全性

    高安全性和可控

    根据供应商高度保护

     

    总结

    从目前公司采用云技术的速度来看,毫无疑问,DBaaS将会继续存在。随着年增长率超过67%,我们确实看到越来越多的公司正在朝着托管数据库服务发展并受益于管理数据库服务,而DBaaS或云数据库是数据库的未来。

     

    在中国企业与「远程办公」正面相遇满月之际,2月29日,CSDN 联合广大「远程办公」工具服务企业共同举办【抗击疫情,科技公司在行动】系列之【远程办公】专题线上峰会活动:中国「远程办公」大考。扫下方二维码或点击阅读原文免费报名直播+抽取奖品+与大牛交流。

    想提前了解峰会详情,可加小助手微信csdnai,回复远程办公,进直播群

    推荐阅读:新知识点!一文告诉你如何调试运行在Docker容器中的远程Node.js应用程序
    数据科学家常见的5个SQL面试问题
    Go GC 20 问
    DeFi中的De是什么意思?这对区块链行业意味着什么?
    在家办公憋疯了?不,我还能再待一年!
    2020 AI人才报告:每年74%人才需求增长,创业公司平均薪水约20万美元
    真香,朕在看了!点击“阅读原文”,参与报名
    
    展开全文
  • oracle (DBaaS) 服务介绍

    2017-03-25 22:18:00
    转https://oracle-base.com/articles/vm/oracle-cloud-database-as-a-service-dbaas-create-service?utm_source=tuicool&utm_medium=referral ...Oracle Cloud : Database as a Service (DBaaS) - Create...
  • 使用MySQL DBaaS的示例docker-compose项目 一个使用docker-compose以及Node和React.JS容器的示例项目。 还使用MySQL DBaaS,例如AWS RDS或GCloud CloudSQL。 该项目旨在让您了解如何为使用React.JS,Node.JS和AWS ...
  • angularjs-dbaas-源码

    2021-05-18 12:15:49
    AngularJS TodoMVC示例 它基于 ,我创建了一个新的github存储库,以便更轻松地为Angular使用功能丰富的后端即服务,该服务可处理所有麻烦的服务器端内容。
  • 从金融行业来讲我们大概有这么几个趋势,之前的话大家都知道在银行里面或者金融系统里面用的都是一些IOE,像一些产品的数据库加小机加存储,现在是因为我们的业务也是在不断地互联网化和移动化方向发展,同时现在...
  • DBaaS数据库云架构介绍.pptx
  • dbaas OpenStack Live与会者将有机会听到Amrith Kumar的讲话 。 Tesora的创始人兼首席技术官Kumar将发表三个演讲: 使用OpenStack Trove复制和群集 ; 部署,配置和操作OpenStack Trove ; 以及介绍数据库即服务的...
  • 目前VM上的RAC只支持2个节点,除非时Exadata上的DBaaS。 两个VM.Standard2.2节点。这已经是最小允许的配置。 数据库的版本比单实例支持多些,从11gR2直到19c: 以下为供应完成的界面: 从上图可知,供应时间...
  • dbaas-base-provider-源码

    2021-03-31 02:47:12
    dbaas-base-provider
  • 基于云原生的新一代DBaaS平台.pdf
  • 数据库即服务 (DBaaS)也在这样的技术背景下应运而生。 数据库即服务Database As Services 数据库即服务 (DBaaS) 是一种数据库平台建设架构和数据管理运营方法,在云计算的框架下,能够将数据库...
  • 基于容器的金融数据库云平台DBaaS实践
  • 基于容器的金融数据库云平台DBaaS实践.pdf
  • 基于Oracle12c DBaaS构建云计算数据服务体系.pdf
  • 为普及大数据相关知识,促进广州、深圳地区大数据爱好者的交流,增强企业使用大数据相关开源项目的意识,特地举办了“大数据开放日”深圳活动。 本活动由 CSDN CODE与腾讯大讲堂联合主办,活动同时得到了CSDN战略...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,324
精华内容 529
关键字:

dbaas