精华内容
下载资源
问答
  • 云存储技术存储服务

    千次阅读 2011-06-17 16:09:00
    云计算体系架构云存储技术存储服务和上一节介绍的安全一样,存储也有个不同层面的含义。 借助于云计算理念和技术提供存储服务,如Google 的 Picass oweb在线照片存储服务和微软的Windows Live 文件和...

    云计算体系架构之云存储技术与云存储服务

    和上一节介绍的云安全一样,云存储也有两个不同层面的含义。

    借助于云计算理念和技术提供存储服务,如Google Picass oweb在线照片存储服务和微软的Windows Live 文件和照片存储服务、CDNContent Delivery Network)和CMSContent Management System)应用、WebDAV (Web-based Distributed Authoring and Versioning)等,这属于云计算的应用,主要是一种SaaS服务。

    为实现云计算系统提供的存储技术和支撑,例如,第6章中已经介绍过的网络文件系统、分布式文件系统和高性能并发文件系统(HFPS)等技术。

    IDC调查数据预测,到2013年,云存储服务的增长率预计将超过所有其他IT云服务,将从现在的174亿美元增长到442亿美元,其中,云存储的市场比例将从目前的9%增长到14%,也就是说云存储的市场规模将接近62亿美元。这里说的就是第一种云存储,或者说不是存储,而是基于云计算的存储服务。它使用的技术就是云计算技术,提供SaaS服务。NetAppIron Mountain喜欢用StaaSStorage as a Service)来描述,但SNIA(美国网络存储行业协会)建议用DaaSData Storage as a Service)。

    由于这个市场的潜力,20094月,超过140家公司成立了SNIA云存储技术工作组,在20104月公布了第一个云存储标准:云数据管理接口(CDMI),这几乎是所有云计算标准组织中最早取得实质性成果的。目前典型的云存储服务商主要有Amazon S3Google storageMicrosoft SkyDriveEMC Atmos/mozyDropboxSugurSyncSyncPlicity,国内的中国电信e云、中国移动139信箱、世纪互联有备、联想网盘、金山快盘、数据银行、新浪微盘、QQ硬盘、360云盘,等等。基于云计算的存储服务不属于云计算体系架构的内容,这里不再细述。

    云存储的两个层面是作为云计算支撑的存储计算,主要涉及分布式存储(如分布式文件系统、IPSAN、数据同步、复制)、数据存储(如重复数据删除、数据压缩、数据编码)和数据保护(如RAIDCDP、快照、备份与容灾)等技术领域,如图8-30所示,这在第6章中已有所介绍。

     

    和云安全技术一样,云存储技术也需要利用现有的所有存储技术针对云计算三层架构的各个环节采用适当的存储技术,才能取得最佳效果,例如,对应不同需求,有时应该使用数据库技术但有时却应该使用LDAP技术,有些性能要求高的系统不能使用SANNAS,需直接使用基于RPCSocket技术的并发文件系统,有些应用使用SAN成本太高等,这里不再做深入介绍。如图8-31所示是一个采用NetApp FAS、思科 UCS VMWare vShpere 4技术打造的存储系统,对上述两种云存储技术和应用都有促进作用

     

    本文节选自《云计算-技术、应用、标准和商业模式》一书。

    《云计算-技术、应用、标准和商业模式》一书已由电子工业出版社正式出版,本书由周洪波著。

    购买地址:

    当当网:

    http://product.dangdang.com/product.aspx?product_id=21094105&ref=search-1-pub

    卓越网:http://www.amazon.cn/%E4%BA%91%E8%AE%A1%E7%AE%97-%E6%8A%80%E6%9C%AF-%E5%BA%94%E7%94%A8-%E6%A0%87%E5%87%86%E5%92%8C%E5%95%86%E4%B8%9A%E6%A8%A1%E5%BC%8F-%E5%91%A8%E6%B4%AA%E6%B3%A2/dp/B0051HAI9K/ref=sr_1_1?ie=UTF8&qid=1307429767&sr=8-1

    中国互动出版网:

    http://product.china-pub.com/56252

    展开全文
  • 什么是云存储技术存储服务?

    千次阅读 2011-06-10 14:51:00
    云计算体系架构云存储技术存储服务和上一节介绍的安全一样,存储也有个不同层面的含义。 借助于云计算理念和技术提供存储服务,如Google 的 Picass oweb在线照片存储服务和微软的Windows Live 文件和...

     

    云计算体系架构之云存储技术与云存储服务
    和上一节介绍的云安全一样,云存储也有两个不同层面的含义。
     借助于云计算理念和技术提供存储服务,如Google 的 Picass oweb在线照片存储服务和微软的Windows Live 文件和照片存储服务、CDN(Content Delivery Network)和CMS(Content Management System)应用、WebDAV (Web-based Distributed Authoring and Versioning)等,这属于云计算的应用,主要是一种SaaS服务。
     为实现云计算系统提供的存储技术和支撑,例如,第6章中已经介绍过的网络文件系统、分布式文件系统和高性能并发文件系统(HFPS)等技术。
    IDC调查数据预测,到2013年,云存储服务的增长率预计将超过所有其他IT云服务,将从现在的174亿美元增长到442亿美元,其中,云存储的市场比例将从目前的9%增长到14%,也就是说云存储的市场规模将接近62亿美元。这里说的就是第一种云存储,或者说不是存储,而是基于云计算的存储服务。它使用的技术就是云计算技术,提供SaaS服务。NetApp和Iron Mountain喜欢用StaaS(Storage as a Service)来描述,但SNIA(美国网络存储行业协会)建议用DaaS(Data Storage as a Service)。
    由于这个市场的潜力,2009年4月,超过140家公司成立了SNIA云存储技术工作组,在2010年4月公布了第一个云存储标准:云数据管理接口(CDMI),这几乎是所有云计算标准组织中最早取得实质性成果的。目前典型的云存储服务商主要有Amazon S3、Google storage、Microsoft SkyDrive、EMC Atmos/mozy、Dropbox、SugurSync、SyncPlicity,国内的中国电信e云、中国移动139信箱、世纪互联有备、联想网盘、金山快盘、数据银行、新浪微盘、QQ硬盘、360云盘,等等。基于云计算的存储服务不属于云计算体系架构的内容,这里不再细述。
    云存储的两个层面是作为云计算支撑的存储计算,主要涉及分布式存储(如分布式文件系统、IPSAN、数据同步、复制)、数据存储(如重复数据删除、数据压缩、数据编码)和数据保护(如RAID、CDP、快照、备份与容灾)等技术领域,如图8-30所示,这在第6章中已有所介绍。
     

    和云安全技术一样,云存储技术也需要利用现有的所有存储技术针对云计算三层架构的各个环节采用适当的存储技术,才能取得最佳效果,例如,对应不同需求,有时应该使用数据库技术但有时却应该使用LDAP技术,有些性能要求高的系统不能使用SAN或NAS,需直接使用基于RPC或Socket技术的并发文件系统,有些应用使用SAN成本太高等,这里不再做深入介绍。如图8-31所示是一个采用NetApp FAS、思科 UCS和 VMWare vShpere 4技术打造的存储系统,对上述两种云存储技术和应用都有促进作用。

     

     

     

     

     

    本文节选自《云计算-技术、应用、标准和商业模式》一书。
    《云计算-技术、应用、标准和商业模式》一书已由电子工业出版社正式出版,本书由周洪波著。

     

    购买地址:
    当当网:
    http://product.dangdang.com/product.aspx?product_id=21094105&ref=search-1-pub
    卓越网:
    http://www.amazon.cn/%E4%BA%91%E8%AE%A1%E7%AE%97-%E6%8A%80%E6%9C%AF-%E5%BA%94%E7%94%A8-%E6%A0%87%E5%87%86%E5%92%8C%E5%95%86%E4%B8%9A%E6%A8%A1%E5%BC%8F-%E5%91%A8%E6%B4%AA%E6%B3%A2/dp/B0051HAI9K/ref=sr_1_1?ie=UTF8&qid=1307429767&sr=8-1
    中国互动出版网:
    http://product.china-pub.com/56252

     

    展开全文
  • 剖析云计算技术架构(3 云存储

    千次阅读 2011-12-11 14:01:03
    存储在计算机系统中非常重要,前面的博文中的存储主要是基于已有的数据库系统,这一篇,我们就来看看不采用数据库系统,怎么来做云存储。在云存储中,我们不考虑单台存储设备的支持,因为这已经是现成的,我们将讨论...

           存储在计算机系统中非常重要,前面的博文中的存储主要是基于已有的数据库系统,这一篇,我们就来看看不采用数据库系统,怎么来做云存储。在云存储中,我们不考虑单台存储设备的支持,因为这已经是现成的,我们将讨论的云存储将基于已有的操作系统和文件系统,从头开始不太可能也不太现实,我们只需要关注我们现在应该关心的一些地方。云存储要达到的一个根本目标就是随需应变,对于用户来讲,其实就是要求空间是无限大的,数据是非常安全可靠的,而用起来是非常简单的。当然性能和低廉的成本也是必须考虑的。
           要降低成本,购买昂贵的存储设备当然就不是首选了,现在一般的PC机价格低廉,我们完全可以利用这个优势。因此我们就可以用PC机或者廉价的存储设备做存储节点。怎么去实现呢?我们知道,单台设备的能力的提高总是有限的,因此利用很多廉价的设备组成一个大的存储系统就不失为一种好的选择。
           首先,我们要保证一定的存储能力,假设单台计算机的存储空间是1T,那么我用m台计算机组成集群,存储能力就可以达到mT,因为扩展都是以节点为单位的,是通过软件来管理的,因此这种方式要扩展存储能力是非常灵活和方便的。
            其次,要保证可靠性。其实保证可靠性除了提高单台计算机的存储可靠性之外,就是进行数据冗余存储,一份数据在多个地方进行备份,这种备份方式也不用非常多,对于一般应用来说3份就足够了。如果存3份,那么m台存储设备的实际存储能力就成了(m/3)T,但这个不是问题,要可靠也要付出代价的。这三份怎么放可靠性比较好呢?当然不能都放在一台机器上,应该是3份在存储位置上,物理的距离越远越好。但事情总是有利有弊,因为备份之间是要维持一致性的,相距越远,这种一致性维护成本就越大(通信和带宽)。雅虎的那种几大洲分布式数据中心方式,对于一般云存储厂商来说还是比较贵,如果是私有云,一般企业也没有这个能力做到这种。为了便于实现,其实m台存储设备可以分为3组,组之间保持一定的距离,这样既提高了存储的可靠性,还便于云存储管理软件的设计。3个组虽然不需要严格的对应,但所能提供的存储空间还是需要大致相同。
           第三,为了提高数据的可靠性,我们可以采用上述的冗余存储的方式,但具体如何存储呢?我们提供给客户的存储,也是以文件的形式存在。如果采用以文件为基本单位来存储数据,冗余在3台物理的存储设备上,简单是简单,但会有一个问题,假设文件在A1,B1,C1三台机器上已经存在,现在附加数据超过了三台设备中某些台的空间,问题就来了,需要重新找能够存放这个文件的设备,在某些情况下如果非常大的话,还不一定能找到,而且也会带来存储设备的利用率也会降低。处理的办法其实也很简单,就是学习操作系统存放文件的方式,以文件块为基本单位来存放。每个文件维持一个文件块列表,只要文件块保持3份,每份都放在不同的组,至于组内是否在同一台机器,就不要求了。因为文件块得大小是可以设置的,一般都比文件小很多,所以不会带来上述空间利用率不够或者是文件太大无法找到可用的存储位置的问题。文件块得大小可以根据自己的应用确定,一般以存图片或者小视频的网站,选用2M或者4M都可以,目的就是让大多数的文件的文件块都比较少。Google的GFS采用的64M,适合于大文件处理。一般来讲,如果文件块太小,文件的文件块就多,不利于索引,但如果文件块太大,而文件访问都是基于文件块的,并非每次访问都需要全部读过来,因此就会造成读写浪费。大家注意,这些文件块在单台计算机上是以文件的形式存在的。
           第四,文件的访问需要比较方便,操作要比较容易,如果文件在这种分布式存储体系中的信息需要用户自行维护,那肯定是不现实的。因此需要一台专门的服务器Master来维护文件的存放信息和控制信息(权限等)。这台服务器(可采用传统的磁盘阵列之类的手段来提高可靠性)维护用户文件到文件块映射关系。现在有两种方式来处理用户的读写,一种是用户发出读写命令(假设以文件名,文件块集合为参数),由服务器来完成实际读写,把结果反馈给用户,这种方式大家一看就知道有个非常大的局限,服务器的压力太大,因为文件的读写数据流都是比较大的。但这种方式也有好处,就是接口单一,用户透明,用户程序可以比较简单。另外一种方式就是,用户向服务器只是发送读写请求,服务器返回文件的位置信息,有用户本身直接与存储设备通信完成实际文件块得读写,这样,Master服务器的压力就小很多。这其实就是GFS所采用的方式(里面叫数据流和控制流分离)。但这种方式有个缺点,就是用户程序需要直接参与到存储服务中,易用性和透明性都比较差。当然,在GFS中这是数据存储与应用Api协调设计的理念体现。
            到这里,一个云存储的底层架构就出来了:将低廉的计算机(每台kT空间)作为存储节点,存储节点n台,分为3组(每组存储能力大致相同),一台主服务器负责管理这些节点,服务器存放着用户文件的文件块映射和访问权限控制等信息,文件块在每个节点计算机里以一个文件的形式存在,每个文件块给个唯一编号,每块在每组中各存一份,如果某个节点坏了,可以从其它组复制一份到没坏的节点上存放,保证安全。这样就形成了n+1台机器所构成的存储。大家注意,这种方案中三份数据之间其实是相互备份,地位相同,这跟传统的备份不一样,传统的备份仅仅是备份,除非主本坏掉,用来恢复,一般是不会参与应用的。因此上述这种方式在性能上会好很多,特别是读方面,同一份数据有3台计算机可以提供服务。
            要实现上述系统,从原理上来讲非常简单,用到的算法或者技术:B+树(文件索引),网络文件传输,RPC等,都不是很难的,这也是很多个人就可以搞成这样的系统的原因。当然,真正去做的时候,还是要点功夫的,特别是细节上的处理。
            总的来讲,在云存储时代,大而全的存储解决方案已经不再是首选策略,特别是在非结构化或者简单结构化数据应用方面,有针对性的存储解决方案会越来越多。另外上述的存储架构相对比较底层,Google的BigTable,微软的Azure里的大数据表(Table)也差不多基于上述原理来进行。

    PS:提高数据的可靠性,最简单饿方法就是冗余存储;上述方式的冗余存储还可以增加读性能(读吞吐量);提高数据性能的另一种方法就是切割数据,用分布式计算来加快数据处理(这种方式不会增加可靠性),GreenPlum云数据库就是利用这种思想。我觉得大部分的应用(特别是企业应用)还是会基于数据库系统来完成,这样使用简单,延续性强,至于数据库系统本身的存储发展,是不是真正的云无关紧要,但至少会号称云。

    虽然这种思想和相关的技术早已存在,云计算也更多的是一种商业应用上的概念,但无论如何,这种可以节省成本,提高资源利用的计算(或者叫应用)模式,会越来越受到欢迎。安全不是问题,信任也不是问题,利润才是首要问题。(安全和信任都是相对的)。

    2011-12-12:技术的进步不是凭空出现,都是有因有果的,技术人员不仅需要关注技术本身,也应该多关注经济等其它领域,开放心态.

    展开全文
  • 在“云存储及灾备技术论坛”,百度资深架构师王耀介绍了百度的发展历程,并就百度云存储产品体系中的块存储与对象存储架构与特点进行了重点分享。 在BAT中,百度做公有比较晚,但在技术上却有很多创新。...

    12月9日,2016中国存储峰会在北京举行。在“云存储及灾备技术论坛”,百度云资深架构师王耀介绍了百度云的发展历程,并就百度云存储产品体系中的块存储与对象存储的架构与特点进行了重点分享。

    在BAT中,百度做公有云比较晚,但在技术上却有很多创新。比如2013年引起广泛关注的ARM存储服务器就是一个很好的例子。最近两年,百度云开始发力,其云存储体系有诸多创新之处。

    据王耀介绍,目前百度云存储产品体系主要是块存储和对象存储,前者除了SSD,还提供普通云硬盘和高性能CDS;在对象存储方面,针对数据迁移成本问题,百度云专门开发了一种存储网关,客户通过云服务器和网关访问对象存储,能大幅降低使用成本。据悉,该产品将在2017年第一季度正式发布。

    以下为王耀发言实录:

    大家好。首先,介绍一下百度云,作为互联网公司,做云,发力比较晚一些,但是,百度云很多技术,尤其是存储技术,不是这两年凭空造出来的。

    百度云发展历程

    09年的时候,我们上线自己的一个分布式网页库,12年新一代分布式计算系统上线,单集群规模达到10000。13年的时候,就是业内首次大规模使用ARM存储服务器,提供一些低功耗一些存储,支撑一些对象存储,就是这一年,我们百度网盘开始发力了。其实,这个里面还没有列,14年,15年做了很多存储项目,后面会讲到给百度云做了一些工作。百度没有跨存储的需求,就是对于云而开发的一个。后面进行一些相应的分享。

    %e5%9b%be%e7%89%871
    这边简单介绍一下百度云存储产品体系,主要分两块。第一,块存储,第二,对象存储,块存储,就是配合我们的云主机提供磁盘服务的。然后,这个产品形态主要由几种组成,第一种就是高性能本地SSD盘,很多厂商可以提供。还提供普通云硬盘,还有高性能云磁盘。因为云上面跑虚拟化的时候,很多时候需要对于数据保证做一些那个,肯定对这个数据做一些快照。这个不经常使用,放在这个机型里面这个成本高一些。所以,我们把这个快照放在对象存储里面,我们采用一些编码,就是降低我们的存储一些成本。

    讲到这个对象存储,大家可能不会很陌生,因为现在很多用到我们对象存储,很多手机的备份,无论是这些小米,或者Apple,手机备份传到对象存储系统上面。然后,百度对象存储为大家所熟知的百度网盘,百度网盘底层系统,就是这一套对象存储系统,这个在产品形态上面有两种。第一种标准对象存储系统,提供一种多副本存储形式,保存一些比较频繁访问的数据,比如网站首页、图片数据。然后,我们还提供一个低频BOS,提供一些访问频度不是很高的数据存储,采用EC编码降低成本。

    然后,我们最近做了新存储,就是一个网关。百度云在运营过程当中发现,很多传统客户上云,他们的数据是符合对象存储的场景的,因为他数据可能非常多,比较在意降低成本。所以,他们数据如果上对象存储,大量的这些数据往对象存储上面搬迁需要很大成本,因为接口原因搬迁成本比较高。我们开发了一个网关,客户可以直接在云上面买一个云服务器,这个云服务器通过这个网关,通过一些协议直接访问对象存储。这个产品将会在明年的Q1面市。

    %e5%9b%be%e7%89%872

    百度云存储挑战与应对

    讲了那么多云存储,我们的目的是什么?在我看来4个方面,一是提供一种非常非常易用的云存储,接口非常简单,服务非常好;第二,提供一个高可靠的环境,客户交了钱,存储数据,必须保证这个可靠性;第三就是高可用,因为存储基础设施部署在云上,云提供一个4个9以上的服务可用。第四就是低成本,很多情况下是因为成本,在云上面一些存储可以规模化采购,规模化运维,从而降低整个采购运营成本。

    云存储有什么挑战?这个里面第一部分介绍一下云存储面向就是天灾跟人祸。其实这个是遇到过,14年时候,百度曾经有一个机房被雷击了,整个机房就不可以提供服务了。像在今年夏天,有一些移动互联网公司服务出现中断,这是因为机房进水了,这个也是天灾的因素。所以,在一些云上就是考虑怎么避免天灾,还有人祸,某某某因为修管道等等之类把光纤挖断了,导致互联网服务受损了。

    除了这些天灾跟人祸之外,我们做云存储的时候,还要遇到很多的一些存储的硬件故障。包括交换机、存储服务器、硬盘等。

    对抗天灾,最主要的手段是什么?就是跨地域,做一些冗余备份,有几种方式。第一级,我们提供了地域的冗余,一些重要的服务,我们在华北,华东,华南,三个地域分别部署存储服务。然后,即使在同样一个地域,我们同样也是会部署多个机房,北京,有一些比较大一些机房提供这些数据跨区域的冗余。

    然后,针对同样一个区域,我们依然会提供很多的一些服务,就是机房里面提供跨节点,通过一些机制保障数据可靠性。这个里面需要做存储系统的时候,还有很多控制节点,这个也是需要做到一些高可用,这样才可以根本上保障系统是OK的。

    OK,这个图是我们的拿一个机房举例,比较纯粹的一个系统,我们在构建这个访问原则的时候,一个机房依然有一个隔离的策略。第一级就是交换机,然后,初期的时候,故障率很高。买的部件也是会出现问题,还有就是节点,因为电源故障,总是有一些故障的。然后,其实我们面临最多的就是第三级,就是磁盘有一些故障,磁盘故障率都是有千分之五故障率,头三年,还没有过保修范围之内。

    %e5%9b%be%e7%89%873

    所以,这个后面右面举了一个例子,有一个数据,这个数据就是三个副本,放三个不同的交换机,还有不同的机器,不同的磁盘里面去,一个机器一个磁盘坏的时候不影响整个数据的可靠性。对于控制节点的冗余,实际上就是通过构建一个这种复制状态机,提供多个副本,解决数据一致性。具体来讲,实现业界的Raft一致性协议,解决master修复,复制,节点变更。因为Master也是进行一些维护,这个时候频繁替换一些master节点,我们要做很多的冗余。

    百度云块存储

    首先,介绍一下块存储,块存储其实跟云主机绑定在一起的,云主机跟云磁盘其实是提供一个可用区域级别,一个部署一个服务。每一个可用区内部部署一套系统,提供服务。然后,同时,就是把快照放一个地域范围内,整个就是这个范围内生效。北京两个机房,你这个主机,磁盘放在那个机房的有时候就是进行迁移的时候,先通过快照放在北京,共享一个快照池子,再把主机迁到另外一个机房。

    %e5%9b%be%e7%89%874

    讨论任何云存储的系统之前,我们先要明确一下存储模型是什么样子?对于云磁盘这个存储产品,我们设置存储模型两个字,第一个就是拆,第二个就是聚。由于提供这种逻辑的一种形态,那么,我们需要把这个拆成一个数据的一个块儿,因为这个云磁盘使用当中有很多空洞率。这个使用十几个G,不需要把没有使用过的块儿都是分配出来。所以,可以节省一些成本。

    第二点就是什么呢?如果我把所有这个都拆成一个固定大小的块之后,就面临一个问题。大家如果熟悉这个架构设计,其实就是明白,这个当中有一个问题:我为每一个存储设计一个块儿,内存是吃不住的。就是非常的消耗内存,而且没有必要,就是64兆搞一个原型机。就是把拆好的这些,再聚合成一个一个的BlockGroup。然后,我们集群去管理这些BlockGroup就可以了。这样的话把整个量级降低两个量级左右。比如说,一个BlockGroup是64兆,如果我这个副本是一个6.4级,就是两个量级,要不然就是三个量级的降低。

    %e5%9b%be%e7%89%875

    OK。云磁盘这个模型之后,就考虑云磁盘架构怎么实现的。比较像传统分布式存储的架构,几个常见的BlockServer必不可少的。我们的Master,这个限速多少?就是这样一些信息。另外一个,就是刚刚讲到了,聚合很多很多BlockGroup,就是管理这些BlockGroup,这些怎么复制?怎么调度他们?什么节点上来?这个是控制层面一些东西

    然后,数据就是存在BlockServer,后面简单讲到数据一个复制跟修复的一些东西。这个里面单独提出一个模块,我们有一个叫做什么呢?SnapshotExecutor,包括执行创建一个快照,回滚一个快照,整个相当于一个分布式任务调度系统,这个是相当于一个分布式调度系统,Master调度任务,就是对应不同的BlockServer,把相应的BlockServer进行快照,然后把数据写到对象存储里面。

    %e5%9b%be%e7%89%876

    刚刚讲到了这个BlockServer进行数据复制,实现这个数据的冗余,还有就是可靠性。

    这是一个复制结构,这个复制结构在业界就是比较折中的一个方式,在延迟上面达到比较优的一个折中。然后,另外,我们就是没有实现那种什么呢?就是三副本,都是写成功才可以成功,如果有一个磁盘卡了一下,这个IO就是抖了一下。有时候抖的不是一秒,两秒,甚至是10秒以上的情况。我们实现了什么?就是多数复制成功这样一个机制。那么,主挂了,这个副本有一些成功的可以成功。有一个挂了,有一个慢了,不影响整个复制的过程。

    %e5%9b%be%e7%89%877

    对于云磁盘服务来讲,任何一个块儿,用户都可能在下一时刻访问这些块儿,所以,必须做一个不影响用户现在的读写一种修复机制。我们实现的就是写时修复一种方案。

    %e5%9b%be%e7%89%878

    百度云对象存储系统

    介绍一下百度存储系统。这个不单单是简单存储系统,就是一个生态。从这个数据的传输存储,到数据处理,数据分发,整个一个生态。

    %e5%9b%be%e7%89%879

    这个数据传输,亚马逊都是拿一些机箱,一些卡车运输。百度也是一样的,也是进行一些服务。

    架构就是三个系统,第一个系统就是接入系统,CloudStorage,等等一系列接入事情。第二个,MetaStorage,这个里面就是什么呢?对象存储提供一种目录数的概念。最后一个叫做DataStorage,难度比较高,提供对应的一些数据存储。

    %e5%9b%be%e7%89%8710

    其实对象存储提供这种跨地域容灾,上面就是一个接入层,用户数据,先写入接入层。这个时候数据可以双写。把原型机双写,接下来,写成功了,这个消息队列就是分布式,也是跨区域容灾的。这样的话多个机房可以同步这个列表,看一下有没有成功。

    %e5%9b%be%e7%89%8711

    OK,讨论一下,刚刚介绍整个架构,提供了近期一个数据,就是多副本数据,历史数据就是采用编码,跟整个对象存储编码差不多。对于低频BOS,就是采用一些编码,索引跟数据是分离的。这些EC编码使用低功耗。对于低频存储也是用这个接的,我们一个引擎解决这个问题了,把数据放内存当中。EC编码进行什么呢?然后,然后进行编码,然后,存下某一个(英文),存在EC存储里面具体的位置。

    %e5%9b%be%e7%89%8712

    所以,依赖内部一个故障预警一个系统,就是可以做到85%正确率,就是对应这个数据,这样不用读8份数据。这个是RBS架构。

    %e5%9b%be%e7%89%8713%e5%9b%be%e7%89%8714

    展开全文
  • 剖析云计算技术架构(2 云存储

    千次阅读 2011-12-09 07:50:16
    要实现云计算的随需应变的目标,关键在于运算能力和存储能力的适应性。我们先看看如何实现存储的随需应变,...因为我们是基于分布式存储来满足云存储的要求,我们不关心操作系统级的存储设备访问和管理,我们只关心基于
  • 1.1云存储技术的起源与发展

    千次阅读 2017-07-25 16:13:48
    1云存储技术的起源 存储是云计算技术的衍生品,是一新型网络的存储方式。那么探索云存储技术的起源,必将追溯至云计算技术的形成与发展,而云计算技术的出现又将追溯至计算机技术、存储技术、网络技术、...
  • 详细介绍JSP技术两种架构模型

    千次阅读 2014-09-15 10:12:15
    本文分别介绍这两种模型,并比较它们的优缺点。 一、JSP和JavaBean模型  其工作原理是:当浏览器发出请求时,JSP接收请求并访问JavaBean.若需要访问数据库或后台服务器,则通过JavaBean连接数据库或后台服务器,...
  • 我们在上篇文章已经对比了不同的存储系统之间的区别,本章开始逐步深入记录Ceph的学习和运用。 开源分布式存储系统的对比 Ceph简介 Ceph是一个分布式存储系统,提供对象,块和文件存储,是一个免费开源软件的存储...
  • 云存储简介

    千次阅读 2017-01-24 22:57:42
    这其实是一篇读书笔记,内容摘录自《大规模分布式存储系统-原理解析与架构实战》第12章讲到的存储概念,跟自己工作的内容比较相关,也有比较...二、云存储技术 三、平台整体架构 四、平台架构 五、云存储技术体系
  • 分层是企业应用系统中最常见的一种架构模式,将系统在横向维度上切分成几个部分,每个部分负责一部分相对比较单一的职责,然后通过上层对下层的依赖和调用组成一个完整的系统。 在大型网站架构中也采用分层结构...
  • C/S 架构是一种典型的两层架构,其全程是Client/Server,即客户端服务器端架构,其客户端包含一个或多个在用户的电脑上运行的程序,而服务器端有两种,一种是数据库服务器端,客户端通过数据库连接访问服务器端的...
  • 云存储相关技术及术语的探讨

    千次阅读 2019-01-03 12:52:35
    在经历计算浪潮和网络浪潮之后,数据存储技术已经发展成为信息领域的三大支撑技术之一。随着云计算、等信息技术的发展,异构数据源越来越多,数据量飞速增长,这就使得社会对数据存储的需求逐日攀升。同时,借力于大...
  • 阿里飞天系统的技术架构

    千次阅读 2015-11-22 21:01:00
    阿里飞天系统的技术架构 阿里有以下五大优势: 中国万网,提供虚拟主机托管的服务,而且还提供域名等服务,其客户群非常庞大; 淘宝、阿里巴巴(内部称:B2B)、支付宝等其他子公司有大量的数据分析...
  • 原生技术架构概述

    千次阅读 2019-01-11 21:28:06
    2014年,谷歌开源了一个主要用于容器编排的Borg内部项目。由于没有机构来管理这个项目,谷歌就与Linux基金会联合创建了旨在鼓励Kubernetes和其他原生解决方...
  • 云存储

    千次阅读 2013-05-09 11:17:06
    云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据...
  • 我们继续互联网技术架构-分布式存储。 总目录: 分布式存储概述 分布式存储特性 - 哈希分布/一致性哈希分布 分布式存储协议 - 阶段与Paxos
  • C/S和B/S两种架构区别

    万次阅读 2016-05-08 20:15:30
    C/S和B/S,是再普通不过的两种软件架构方式,都可以进行同样的业务处理,甚至也可以用相同的方式实现共同的逻辑。既然如此,为何还要区分彼此呢?那我们就来看看二者的区别和联系。     一、C/S 架构 1、 概念...
  • C/S和B/S两种架构的区别和优缺点

    万次阅读 多人点赞 2018-03-31 23:38:35
    C/S和B/S两种架构的区别和优缺点一、C/S1、 概念:典型的两层架构,全称Client/Server,客户端服务器端架构,,其客户端包含一个欧多个用户电脑上运行的程序,二服务器有两种:一种是数据库服务器,可短短通过数据库...
  • 原文:How we implemented the... 责编:钱曙光,关注架构和算法领域,寻求报道或者投稿请发邮件qianshg@csdn.net,另有「CSDN 高级架构师群」,内有诸多知名互联网公司的大牛架构师,欢迎架构师加微信qshuguang2008...
  • C/S和B/S两种架构区别与优缺点分析

    千次阅读 2018-11-02 14:44:57
    C/S和B/S,是再普通不过的两种软件架构方式,都可以进行同样的业务处理,甚至也可以用相同的方式实现共同的逻辑。既然如此,为何还要区分彼此呢?那我们就来看看二者的区别和联系。 一、C/S 架构 1、 概念 C/S ...
  • 深度解析阿里云存储

    万次阅读 2017-08-31 18:41:06
    图1 2017年Gartner全球云存储魔力象限图在去年首次进入Gartner魔力象限即取得了不错的位置之后,今年阿里云存储再次强势进入公共云存储魔力象限,紧跟Google成为公共云存储厂商中在利基象限中最接近领导者象限的公共...
  • 桌面架构纵横

    千次阅读 2019-02-27 14:11:18
    本文作者:张瑞鑫先生(资深云计算专家) ... 今天我们讲的是一篇关于桌面架构技术的知识,希望给大家带来帮助! 计算模式 看桌面计算模式,了解从用户类型如何到...桌面三种架构(VDI IDV VOI) 1、VDI架构 ...
  • 首先简单做个自我介绍。...这跟云计算可能有点远,...所以就有了这样一个游戏和云计算相结合的项目,这是我去年跟上海劢驰数字技术有限公司合作的项目,我作为技术顾问参与了这个项目的架构设计和一些核心技术的研发...
  • C/S 架构是一种典型的两层架构,其全程是Client/Server,即客户端服务器端架构,其客户端包含一个或多个在用户的电脑上运行的程序,而服务器端有两种,一种是数据库服务器端,客户端通过数据库连接访问服务器端的...
  • 阿里高级技术专家许晓斌通过本文分享从IaaS上云时代到PaaS上云时代的应用架构演进方向,以及原生技术与应用架构演进的关系。原生已经进入了PaaS上云为主的阶段阿里巴巴已经经历了IaaS上云的阶段,迈进到了PaaS...
  • 基于私有的数据库高可用架构实践 来源:https://comet-project.gitbooks.io 背景 目前,对互联网行业而言,在数据库应用上大规模使用SQL Server的并不多见,更多的企业基于LAMP架构来使用MySQL数据库。在...
  • 云存储的未来:Scale Up还是Scale Out?

    千次阅读 2018-12-05 14:22:06
    本文通过对云存储历史的回顾,及对Scale Up和Scale Out两种扩展模型的诠释,来揭开云存储的未来模式。 1. 云存储及其历史 简而言之,云存储(cloud storage)就是将数字内容安全的存储在服务器上,从而任何连接...
  • 云存储云计算选择开源还是商业版

    千次阅读 2018-04-11 18:06:25
    现在市场上有很多云计算架构可供选择,既有成熟的商业版本,也有基于开源的技术。 每个公司在面临存储运算瓶颈时,都会面临一番挣扎,本篇文章我们来调研梳理开源与商业版本的选择对比。 选择商用平台还是选择...
  • 云存储关键技术研究与发展应用

    万次阅读 2012-10-27 20:00:45
     存储系统以传统的分布式存储技术为基础,利用高吞吐率网络技术为依托,一方面高效地整合管理网络存储资源,另一方面对外提供友好的接口,发布便捷的网络数据存储服务 1.2 定义2  从狭义上来说,存储是指...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 307,274
精华内容 122,909
关键字:

云存储技术的两种架构