精华内容
下载资源
问答
  • 最近想把数据、图像通过无线网络存储平台,请问哪位高手熟悉这块,推荐一家能够提供较详细开发代码(最好是C++)的云公司
  • 一、云存储简介 二、云存储的优点 三、云存储的应用 四、云存储的隐形成本 五、中国的云存储 六、云存储的未来发展趋势
  • 云存储

    千次阅读 2017-06-05 14:21:31
    云存储是在云计算概念上衍生、发展出来的一个概念,它除’厂可以节省整体的硬件成本(包括电力成本)外,还具备良好的可扩展性、对用户的透明性、按需分配的灵活性和负载的均衡性等特点。 云存储产品:Amazon S3、...

    云存储是在云计算概念上衍生、发展出来的一个概念,它除’厂可以节省整体的硬件成本(包括电力成本)外,还具备良好的可扩展性、对用户的透明性、按需分配的灵活性和负载的均衡性等特点。


    云存储产品:Amazon S3、Microsoft Azure、Google Datasheet、Google Cloud Storage

     

    云存储是通过网络将大量普通存储设备构成的存储资源池中的存储和数据服务以统一的接口按需提供给授权用户。

     

    云存储属于云计算的底层支撑,它通过多种云存储技术的融合,将大量普通PC服务器构成的存储集群虚拟化为易扩展、弹性、透明、具有伸缩性的存储资源池,并将存储资源池按需分配给授权用户,授权用户即可以通过网络对存储资源池进行任意的访问和管理,并按使用付费。云存储将存储资源集中起来,并通过专门的软件进行自动管理,无须人为参与。用户可以动态使用存储资源,无须考虑数据分布,扩展性,自动容错等复杂的大规模存储系统技术细节,从而更加专注于白己的业务,有利于提高效率、降低成本和技术创新。

     

    云存储特点:

    超大规模:万亿级

    高可扩展性:动态伸缩

    高可靠性和可用性:多副本复制以及节点故障白动容错

    安全:;用户鉴权,访问权限控制,安全通信

    按需服务:

    透明服务:统一的接口

    自动容错:自动处理节点故障

    低成本:云存储的重要目标。

     

    云存储是一种弹性、低成本、高利用率、透明的并能满足用户需求的服务,它采用友好的Web界面与用户进行交互,提供数据存储、数据保护、数据管理等功能,并使用用户身份认证机制来验证用户身份的真实性与唯一性。

     

    云存储相关的概念还包括云存储系统、云存储技术、云存储服务等

     

    云存储系统由大量的廉价的存储设备(一般为普通PC服务器)组成,融合了分布式存储、多租户共享、数据安全、数据去重等多种云存储技术,为用户提供灵活的、方便的、按需分配的云存储服务。

     

    云存储技术的核心在于分布式存储。

     

    云存储具有如下优势:

    可扩展性


    利用率

    成本

    服务能力

    便携性

     

    云存储的产品形态

     

    云存储技术

    云存储包含两个部分:云端+终端。云端指统一的云存储服务端,终端指多样化的PC机、手机、移动多媒体设备等终端设备。

    摩尔定律、宽带网络、web技术、移动设备、分布式存储、CDN、P2P技术、数据加密、云安全、

     

    云存储的核心优势

    云存储的核心优势与云计算相同。主要包括两个方面:最大程度地节省成木以及加快创新速度;

    PUE(Power Usage Effectiveness,能源使用效率)用来衡量数据中心的能源效率=数据中心所有设备能耗(包括IT电源,冷却等设备)/IT设备能耗。

    基准是2,越接近1表明能效水平越好。

     

    云存储的另外一个核心优势就是加快创新速度。

     

    云平台整体架构

    IaaS、Paas、SaaS

     

    Amazon云平台

     

    Google云平台

     

    Microsoft云平台

     

    云平台架构

     

    云存储技术体系


    展开全文
  • 云存储技术手册 云存储技术手册云存储技术手册云存储技术手册
  • 云存储技术与云存储服务

    千次阅读 2011-06-17 16:09:00
    云计算体系架构之云存储技术与云存储服务和上一节介绍的云安全一样,云存储也有两个不同层面的含义。 借助于云计算理念和技术提供存储服务,如Google 的 Picass oweb在线照片存储服务和微软的Windows Live 文件和...

    云计算体系架构之云存储技术与云存储服务

    和上一节介绍的云安全一样,云存储也有两个不同层面的含义。

    借助于云计算理念和技术提供存储服务,如Google Picass oweb在线照片存储服务和微软的Windows Live 文件和照片存储服务、CDNContent Delivery Network)和CMSContent Management System)应用、WebDAV (Web-based Distributed Authoring and Versioning)等,这属于云计算的应用,主要是一种SaaS服务。

    为实现云计算系统提供的存储技术和支撑,例如,第6章中已经介绍过的网络文件系统、分布式文件系统和高性能并发文件系统(HFPS)等技术。

    IDC调查数据预测,到2013年,云存储服务的增长率预计将超过所有其他IT云服务,将从现在的174亿美元增长到442亿美元,其中,云存储的市场比例将从目前的9%增长到14%,也就是说云存储的市场规模将接近62亿美元。这里说的就是第一种云存储,或者说不是存储,而是基于云计算的存储服务。它使用的技术就是云计算技术,提供SaaS服务。NetAppIron Mountain喜欢用StaaSStorage as a Service)来描述,但SNIA(美国网络存储行业协会)建议用DaaSData Storage as a Service)。

    由于这个市场的潜力,20094月,超过140家公司成立了SNIA云存储技术工作组,在20104月公布了第一个云存储标准:云数据管理接口(CDMI),这几乎是所有云计算标准组织中最早取得实质性成果的。目前典型的云存储服务商主要有Amazon S3Google storageMicrosoft SkyDriveEMC Atmos/mozyDropboxSugurSyncSyncPlicity,国内的中国电信e云、中国移动139信箱、世纪互联有备、联想网盘、金山快盘、数据银行、新浪微盘、QQ硬盘、360云盘,等等。基于云计算的存储服务不属于云计算体系架构的内容,这里不再细述。

    云存储的两个层面是作为云计算支撑的存储计算,主要涉及分布式存储(如分布式文件系统、IPSAN、数据同步、复制)、数据存储(如重复数据删除、数据压缩、数据编码)和数据保护(如RAIDCDP、快照、备份与容灾)等技术领域,如图8-30所示,这在第6章中已有所介绍。

     

    和云安全技术一样,云存储技术也需要利用现有的所有存储技术针对云计算三层架构的各个环节采用适当的存储技术,才能取得最佳效果,例如,对应不同需求,有时应该使用数据库技术但有时却应该使用LDAP技术,有些性能要求高的系统不能使用SANNAS,需直接使用基于RPCSocket技术的并发文件系统,有些应用使用SAN成本太高等,这里不再做深入介绍。如图8-31所示是一个采用NetApp FAS、思科 UCS VMWare vShpere 4技术打造的存储系统,对上述两种云存储技术和应用都有促进作用

     

    本文节选自《云计算-技术、应用、标准和商业模式》一书。

    《云计算-技术、应用、标准和商业模式》一书已由电子工业出版社正式出版,本书由周洪波著。

    购买地址:

    当当网:

    http://product.dangdang.com/product.aspx?product_id=21094105&ref=search-1-pub

    卓越网:http://www.amazon.cn/%E4%BA%91%E8%AE%A1%E7%AE%97-%E6%8A%80%E6%9C%AF-%E5%BA%94%E7%94%A8-%E6%A0%87%E5%87%86%E5%92%8C%E5%95%86%E4%B8%9A%E6%A8%A1%E5%BC%8F-%E5%91%A8%E6%B4%AA%E6%B3%A2/dp/B0051HAI9K/ref=sr_1_1?ie=UTF8&qid=1307429767&sr=8-1

    中国互动出版网:

    http://product.china-pub.com/56252

    展开全文
  • 云存储技术

    2018-04-13 13:24:57
    存储结构 存储设备 存储接口(含FCoE) NoSQL数据库 云存储主流产品比较 存储虚拟化
  • 云存储源码

    热门讨论 2013-01-13 12:24:44
    云存储客户端源码
  • 云存储简介

    千次阅读 2017-01-24 22:57:42
    这其实是一篇读书笔记,内容摘录自《大规模分布式存储系统-原理解析与架构实战》第12章讲到的云存储概念,跟自己工作的内容比较相关,也有比较强烈的认同感。 一、云存储的概念 二、云存储技术 三、云平台整体架构 ...

           这其实是一篇读书笔记,内容摘录自《大规模分布式存储系统-原理解析与架构实战》第12章讲到的云存储概念,跟自己工作的内容比较相关,也有比较强烈的认同感。


    一、云存储的概念

    云存储是通过网络将大量普通存储设备构成的存储资源池中的存储和数据服务以统一的接口按需提供给授权用户。

    云存储属于云计算的底层支撑,它通过多种云存储技术的融合,将大量普通PC服务器构成的存储集群虚拟化为易扩展、弹性、透明、具有伸缩性的存储资源池,并将存储资源池按需分配给授权用户,授权用户即可以通过网络对存储资源池进行任意的访问和管理,并按使用付费。云存储将存储资源集中起来,并通过专门的软件进行自动管理,无需人为参与。用户可以动态使用存储资源,无需考虑数据分布,扩展性,自动容错等复杂的大规模存储系统技术细节,从而可以更加专注于自己的业务,有利于提高效率,降低成本和技术创新。云存储具有如下特点:

    >超大规模:云存储具有相当的规模,单个系统存储的数据可以到达千亿级别,甚至万亿级。

    >高可扩展性:第一,系统本身可以很容易动态增加服务器资源以应对数据增长;第二,系统运维可扩展,意味着随着系统规模的增加,不需要增加太多运维人员。

    >高可用性和可用性:通过多副本复制以及节点故障自动容错等技术,云存储提供了很高的可用性和可靠性。

    >安全:云存储内部通过用户鉴权,访问权限控制,安全通信(HTTPS,TLS协议)等方式保障安全性。

    >透明服务:云存储以统一的接口,比如RESTFUL接口的形式提供服务,后端存储节点的变化,比如增加节点,节点故障对用户是透明的。

    >自动容错:云存储能够自动处理节点故障,从而实现运维可扩展,保证高可靠性和高可用性。

    >低成本:低成本是云存储的重要目标。云存储的自动容错使得可以采用普通的PC服务端来构建;云存储的通用性使得资源利用率大幅提升;云存储的自动化管理使得运维成本大幅降低;云存储所在的数据中心可以建在电力资源丰富的地区,从而大幅降低能源成本。


    二、云存储技术

    云存储包含两个部分:云端 + 终端。云端指统一的云存储服务端,终端指多样化的PC机,手机,移动多媒体设备等终端设备。云存储的发展需要云端和终端里面的多种技术的支持。

    云存储系统由多个存储设备构成,不同存储设备之间需要通过分布式存储,CDN、P2P等分布式技术,实现多个存储设备之间的协同工作,使多个存储设备可以对外提供同一种服务,并提供更好的数据访问性能。如果没有这些技术,存储系统只能是一个一个独立的系统,不能形成云状结构,也就没有云存储。另外,CDN(Content Delivery Network)以及P2P等技术保证云中的图片视频等文件能够被快速访问,并且节约云存储服务提供商的带宽成本。


    三、云平台整体架构

    云存储是云计算的存储部分,理解云存储架构的前提是理解云平台整体架构。云计算按照服务类型大致可以分为三类:基础设施即服务(Iaas)、平台即服务(PasS)以及软件即服务(SaaS):

    IaaS将硬件设备等基础资源以虚拟机的形式封装成服务供用户使用,如Amazon云计算AWS(Amazon Web Service)的弹性计算云EC2,PaaS进一步抽象硬件资源,提供用户应用程序的运行环境,开发者只需要将应用程序提交给PaaS平台,PaaS平台会自动完成程序部署,处理服务器故障,扩容等问题,典型的如(Google App Engine)GAE。SaaS的针对性更强,它将某些特定应用软件封装成服务。


    四、云平台架构

    从托管Web应用程序的角度看,云平台主要包括云存储以及应用运行平台,如下图所示:


    云平台的核心组件包括:云存储组件和应用运行平台组件。

    (1)云存储组件

    云存储组件包括两层:分布式存储层以及存储访问层。

    分布式存储层管理存储服务器集群,实现各个存储设备之间的协同工作,保证数据可靠性,对外屏蔽数据所在位置,数据迁移,数据复制,机器增减等变化,是的整个分布式系统看起来像是一台服务器。分布式存储层是云存储系统的核心,也是整个云存储平台中最难实现的部分。CDN节点将云存储系统中的热点数据缓存到离用户最近的位置,从而减少用户的访问延时并节约带宽。

    存储访问层位于分布式存储层的上一层,该层的主要作用是将分布式存储层的客户端接口封装为WebService(基于RESTful等协议)服务,另外,该层通过调用公共服务实现用户认证,权限管理以及计费等功能。存储访问层不是必须的,云存储平台中的计算实例也可以直接铜鼓哦客户端API访问分布式存储层中的存储系统。

    (2)应用运行平台组件

    应用运行平台的主体为计算实例(笔者理解为就是所谓的虚机或者物理机),计算实例最主要的功能有两个:开发者的应用程序运行环境以及离线任务处理。

    多个计算实例构成一个计算实例组,当实例组中的某个实例出现故障时,能够自动将负载迁移到其他的实例,并且支持动态增加或者减少实例从而使得实例组的处理能力具有动态可伸缩性。运行平台的最前端是路由以及负载均衡(LVS等)组件,它将用户的请求按照一定的策略发送到适合的计算实例。

    云存储平台还包含一些公共服务,这些基础服务由云存储组件以及运行平台组件所公用,如下所示:

    >消息服务:消息服务将执行流程异步化,用于应用程序解耦。计算实例一般分为处理Web请求的前台实例以及处理离线任务的后台实例,在很多情况下,前台实例处理Web请求的过程中需要启动运行在后台的任务,这种需求可以通过消息服务(消息队列例如ActiveMQ)服务实现。

    >缓存服务:缓存服务用于存储云存储系统中的读多写少的热点数据,从而加速查询,减少对后端存储系统压力。大多数云存储平台提供Memcache服务。

    >用户管理:用户管理主要功能是用户身份认证,确保用户的身份合法,并存储用户相关的个人信息。云计算平台一般支持单点登录,在多个应用系统中,用户只需要登录一次就可以访问所有相互信任的系统。

    >运维管理:云存储平台的运维需要做到自动化,从而降低运维成本,一般来说,有一套专门的Web运维系统用于系统上下线,批量升级系统程序版本等。

    >监控系统:监控系统由两个层面,其一是资源层面,即资源的运行情况,比如CPU使用率、内存使用率和网络带宽利用率,Load值等,需要注意的是,云计算平台除了监控物理机资源,还需要监控虚拟机资源的运行情况;其二是应用层面,主要记录应用每次请求的响应时间、读写请求数等。

    还有权限管理,安全服务,计费服务,资源管理等。


    五、云存储技术体系

    云存储设计的知识面很广,既涉及云存储服务端的技术,又涉及终端设备应用开发相关的技术。


    。。。图片太大,只能横着看了。以上是云存储技术体系,找到了方向,如果能都搞通,差不多就成神了。

    云存储技术体系结构分为四层:硬件层、单机存储层、分布式存储层、存储访问层,前面有介绍就不啰嗦了。

    用户的应用程序可能会托管在应用运行平台中,应用场景大致分为三类:

    >弹性计算平台:典型的弹性计算平台为Amazon EC2以及MS的各种虚拟机实例,底层设计的技术包括虚拟机、自动伸缩。弹性计算平台通过虚拟机自身的机制来保证云安全,比如虚拟机安全隔离,虚拟机防火墙。基于虚拟机的弹性计算平台的优势在于兼容性,支持各种编程语言和平台。

    >云引擎:典型的云引擎为Google APP Engine,底层设计的涉及的技术主要是应用容器(比如Java Tomcat,Jetty,Python Runtime)以及应用容器自动伸缩。当应用的负载过高时,自动增加应用的运行容器数;反之,自动减少应用的运行容器数。

    >分布式计算:云平台往往会支持分布式计算,通过后台的计算实例执行耗时较长的计算任务。MapReduce是最为常见的分布式计算模型,云平台一般都支持开源的Hadoop MapReduce计算框架。

    以上。


    Reference:

    《大规模分布式存储系统-原理解析与架构实战》






    展开全文
  • MassCloud云存储系统

    2011-09-30 09:01:37
    MassCloud云存储系统 MassCloud云存储系统 MassCloud云存储系统 MassCloud云存储系统 MassCloud云存储系统
  • 云存储_云安全.ppt

    2020-01-10 21:31:50
    计算机网络工程 * 云存储 一云存储简介 二云存储的优点 三云存储的应用 四云存储的隐形成本 五中国的云存储云存储的未来发展趋势 计算机网络工程 * 一云存储简介 1什么是云存储 2云存储结构模型 3云存储的系统...
  • 对象存储(云存储)概述

    万次阅读 多人点赞 2019-03-08 17:54:09
    文章目录三种存储形态1、块存储2、文件存储3、对象存储对象存储对象存储需求对象存储含义对象存储与传统网络存储的区别扩展知识:NAS与SAN概述1、NAS(Network Attached Storage)优点局限2、SAN(Storage Area ...

    三种存储形态

    在这里插入图片描述

    三种存储形态和存储架构示意图

    1、块存储

      块存储我们简单的理解就是一块一块的硬盘,直接挂载在主机上,在主机上我们能够看到的就是一块块的硬盘以及硬盘分区。从存储架构的角度而言,块存储又分为DAS存储(Direct-Attached Storage,直连式存储)和SAN存储(Storage Area Network,存储区域网络)。

    2、文件存储

      文件存储,我们指的是在文件系统上的存储,也就是主机操作系统中的文件系统。我们知道,文件系统中有分区,有文件夹,子文件夹,形成一个自上而下的文件结构;文件系统下的文件,用户可以通过操作系统中的应用程序进行打开、修改等操作,如打开word、编辑word。从架构上来说,文件存储提供一种NAS(Network Attached Storage,网络附属存储)架构,使得主机的文件系统不仅限于本地的文件系统,还可以连接基于局域网的共享文件系统。

    3、对象存储

      对象存储是面向对象/文件的、海量的互联网存储,它也可以直接被称为“云存储”。对象尽管是文件,它是已被封装的文件(编程中的对象就有封装性的特点),也就是说,在对象存储系统里,你不能直接打开/修改文件,但可以像ftp一样上传文件,下载文件等。另外对象存储没有像文件系统那样有一个很多层级的文件结构,而是只有一个“桶”(bucket)的概念(也就是存储空间),“桶”里面全部都是对象,是一种非常扁平化的存储方式。其最大的特点就是它的对象名称就是一个域名地址,一旦对象被设置为“公开”,所有网民都可以访问到它;它的拥有者还可以通过REST API的方式访问其中的对象。因此,对象存储最主流的使用场景,就是存储网站、移动app等互联网/移动互联网应用的静态内容(视频、图片、文件、软件安装包等等)。

    对象存储

    对象存储需求

      随着互联网,Web应用创建出数百亿的小文件;人们上传海量的照片、视频、音乐,Facebook每天都新增数十亿条内容,人们每天发送数千亿封电子邮件。据IDC统计未来在10年间数据将增长44倍,到2020年全球数据将增加到35ZB,其中80%是非结构化数据,且大部分是非活跃数据。

      面对如此庞大的数据量,仅具备PB级扩展能力的块存储(SAN)和文件存储(NAS)显得有些无能为力:通常块存储(SAN)的一个LUN容量仅数TB。单个文件系统最优性能情况下支持的文件数量通常只在百万级别。人们需要一种全新的架构的存储系统,这种存储系统需要具备极高的可扩展性,能够满足人们对存储容量TB到EB规模的扩展的需求。

      2006年Amazon发布AWS, S3 服务及其使用的REST、SOAP访问接口成为对象存储的事实标准。Amazon S3成功为对象存储注入云服务基因。

    对象存储含义

      存储局域网(SAN)和网络附加存储(NAS)是目前两种主流网络存储架构,而对象存储(Object-based Storage)是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备(Object-based Storage Device)简称OSD。总体上来讲,对象存储(Object-Based Storage, OBS)综合了NAS和SAN的优点,同时具有SAN的高速直接访问和NAS的分布式数据共享等优势,提供了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。
      对象存储核心是将数据通路(数据读或写)和控制通路(元数据)分离,并且基于对象存储设备(OSD)构建存储系统,每个对象存储设备具有一定的智能,能够自动管理其上的数据分布。

      对象存储是一种基于对象的存储设备,具备智能、自我管理能力,通过web服务协议(如:REST、SOAP)实现对象的读写和存储资源的访问。

      对象存储系统包含两种数据描述:容器(Bucket)、对象(Object)。容器和对象都有一个全局唯一的ID。对象存储采用扁平化结构管理所有数据,用户/应用通过接入码(AccessKey)认证后,只需要根据ID就可以访问容器/对象及相关的数据(Data)、元数据(metadata)和对象属性(Attribute)。

    对象存储与传统网络存储的区别

      对象存储在很多重要方面与SAN和NAS迥然不同,对存储管理员而言最显著的区别在于对象存储没有LUNs,卷以及RAID等要素。对象数据不是存储在固定的块,而是在大小可变的“容器”里。鉴于元数据(metadata)和数据本身可通过传统数据访问方法进行访问,对象存储允许数据被直接访问。此外,支持对象级和命令级的安全策略设置。


    扩展知识:NAS与SAN概述

    1、NAS(Network Attached Storage)

      NAS(Network Attached Storage:网络附属存储)按字面简单说就是连接在网络上,具备资料存储功能的装置,因此也称为“网络存储器”。它是一种专用数据存储服务器。它以数据为中心,将存储设备与服务器彻底分离,集中管理数据,从而释放带宽、提高性能、降低总拥有成本、保护投资。其成本远远低于使用服务器存储,而效率却远远高于后者。
      它采用NFS或CIFS命令集访问数据,以文件为传输协议,通过TCP/IP实现网络化存储,可扩展性好、价格便宜、用户易管理,如目前在集群计算中应用较多的NFS文件系统,但由于NAS的协议开销高、带宽低、延迟大,不利于在高性能集群中应用。

    优点

      NAS产品是真正即插即用的产品。NAS设备一般支持多计算机平台,用户通过网络支持协议可进入相同的文档,因而NAS设备无需改造即可用于混合Unix/Windows NT局域网内。   
      NAS设备的物理位置同样是灵活的。它们可放置在工作组内,靠近数据中心的应用服务器,或者也可放在其他地点,通过物理链路与网络连接起来。无需应用服务器的干预,NAS设备允许用户在网络上存取数据,这样既可减小CPU的开销,也能显著改善网络的性能。

    局限

      NAS没有解决与文件服务器相关的一个关键性问题,即备份过程中的带宽消耗。与将备份数据流从LAN中转移出去的存储区域网(SAN)不同,NAS仍使用网络进行备份和恢复。NAS 的一个缺点是它将存储事务由并行SCSI连接转移到了网络上。这就是说LAN除了必须处理正常的最终用户传输流外,还必须处理包括备份操作的存储磁盘请求。
      由于存储数据通过普通数据网络传输,因此易受网络上其它流量的影响。当网络上有其它大数据流量时会严重影响系统性能;由于存储数据通过普通数据网络传输,因此容易产生数据泄漏等安全问题;
      存储只能以文件方式访问,而不能像普通文件系统一样直接访问物理数据块,因此会在某些情况下严重影响系统效率,比如大型数据库就不能使用NAS。

    2、SAN(Storage Area Network and SAN Protocols)

      存储区域网络(Storage Area Network and SAN Protocols,简写SAN,即存储区域网络及其协议)是一种高速网络或子网络,提供在计算机与存储系统之间的数据传输。存储设备是指一台或多台用以存储计算机数据的磁盘设备,通常指磁盘阵列。存储区域网络能够使用多种技术,这就使得系统间的数据备份、操作、文件转移和数据复制很容易实现重定向。

    优点

      SAN提供了一种与现有LAN连接的简易方法,并且通过同一物理通道支持广泛使用的SCSI和IP协议。SAN不受现今主流的、基于SCSI存储结构的布局限制。特别重要的是,随着存储容量的爆炸性增长,SAN允许企业独立地增加它们的存储容量。 SAN的结构允许任何服务器连接到任何存储阵列,这样不管数据置放在那里,服务器都可直接存取所需的数据。因为采用了光纤接口,SAN还具有更高的带宽。 因为SAN解决方案是从基本功能剥离出存储功能,所以运行备份操作就无需考虑它们对网络总体性能的影响。SAN方案也使得管理及集中控制实现简化,特别是对于全部存储设备都集群在一起的时候。最后一点,光纤接口提供了10公里的连接长度,这使得实现物理上分离的、不在机房的存储变得非常容易。

    局限

      成本和复杂性,特别是在光纤信道中这些缺陷尤其明显。使用光纤信道的情况下,合理的成本大约是1千兆或者两千兆大概需要五万到六万美金。从另一个角度来看,虽然新推出的基于iSCSI的SAN解决方案大约只需要两万到三万美金,但是其性能却无法和光纤信道相比较。在价格上的差别主要是由于iSCSI技术使用的是现在已经大量生产的吉比特以太网硬件,而光纤通道技术要求特定的价格昂贵的设备。

    对象存储的特性

      对象存储是一种基于对象的存储设备,具备智能、自我管理能力,通过web服务协议(如:REST、SOAP)实现对象的读写和存储资源的访问。

      对象存储系统包含两种数据描述:容器(Bucket)、对象(Object)。容器和对象都有一个全局唯一的ID。对象存储采用扁平化结构管理所有数据,用户/应用通过接入码(AccessKey)认证后,只需要根据ID就可以访问容器/对象及相关的数据(Data)、元数据(metadata)和对象属性(Attribute)。

    在这里插入图片描述

    对象存储数据组织示意图

      对象存储对外提供更抽象的对象接口,而不是SCSI或文件接口。与SAN存储以逻辑扇区为单位的较细粒度的固定IO(512B~4KB)不同,对象存储IO粒度更有弹性,支持几个字节(B)到数万亿字节(TB)范围内的任意对象大小,使得业务可根据需要灵活的分割数据。

      对象存储以对象ID为基础,扁平化的管理所有对象和桶,根据对象ID便可直接访问数据,解决了NAS复杂的目录树结构在海量数据情况下的数据查找耗时长的问题,这使得对象存储具备极强的扩展性,能够轻松实现单一名字空间内支持百亿级文件的存储。

      在重复数据删除,绿色节能等特性基础上,为了更好的满足海量数据存储和公众云服务需求,对象存储系统还包括如下一些关键特性:

    1、优秀的扩展性

      扁平化的数据结构允许对象存储容量从TB级扩展到EB级,管理数十个到百亿个存储对象,支持从数字节(Byte)到数万亿字节(TB)范围内的任意大小对象,解决了文件系统复杂的iNode的机制带来的扩展性瓶颈,并使得对象存储无需像SAN存储那样管理数量庞大的逻辑单元号(LUN)。对象存储系统通常在一个横向扩展(或网格硬件)架构上构建一个全局的命名空间,这使得对象存储非常适用在云计算环境中使用。某些对象存储系统还可支持升级、扩容过程中业务零中断。

    2、基于策略的自动化管理

      由于云环境中的数据往往是动态、快速增长的,所以基于策略的自动化将变得非常重要。对象存储支持从应用角度基于业务需求设置对象/容器的属性(元数据)策略,如数据保护级别,保留期限,合规状况,远程复制的份数等。这使得对象存储具备云的自服务特征同时,有效的降低运维管理的成本,使得客户在存储容量从TB增长到ZB时,运维管理成本不会随之飙升。

    3、多租户技术

      多租户特性可以使用同一种架构,同一套系统为不同用户和应用提供存储服务,并分别为这些用户和应用设置数据保护、数据存储策略,并确保这些数据之间相互隔离。

    扩展知识:多租户技术介绍

    多租户架构浅析

      多租户技术(英语:multi-tenancy technology)或称多重租赁技术,是一种软件架构技术,它是在探讨与实现如何于多用户的环境下共用相同的系统或程序组件,并且仍可确保各用户间数据的隔离性。

      云计算可以划分为以下几个层次的服务——IaaS、PaaS和SaaS,而今天我们今天讲的多租户架构就是一种常见的 SaaS 软件架构模式。多租户技术是实现如何在多用户环境下(此处的多用户一般是面向企业用户)共用相同的系统或程序组件,并且可确保各用户间数据的隔离性。 简单讲:在一台服务器上运行单个应用实例,它为多个租户(客户)提供服务。从定义中我们可以理解:多租户是一种架构,目的是为了让多用户环境下使用同一套程序,且保证用户间数据隔离。那么重点就很浅显易懂了,多租户的重点就是同一套程序下实现多用户数据的隔离。

    对象存储结构

    Alt

    对象存储结构

      对象存储结构由 对象、对象存储设备、元数据服务器、对象存储系统的客户端 四部分组成。

    1、对象(Object)

      对象(Object)是系统中数据存储的基本单位,一个对象实际上就是文件的数据和一组属性信息(Meta Data)的组合,每个对象是数据和数据属性集的综合体,数据属性可以根据应用的需求进行设置,包括数据分布、服务质量等。在传统的存储系统中用文件或块作为基本的存储单位,块设备要记录每个存储数据块在设备上的位置。对象维护自己的属性,从而简化了存储系统的管理任务,增加了灵活性。对象的大小可以不同,可以包含整个数据结构,如文件、数据库表项等。在存储设备中,所有对象都有一个对象标识,通过对象标识OSD命令访问该对象。通常有多种类型的对象,存储设备上的根对象标识存储设备和该设备的各种属性,组对象是存储设备上共享资源管理策略的对象集合等。

    在这里插入图片描述

    传统块存储和对象存储示意图

    在这里插入图片描述

    对象存储中对象(Object)的组成

    2、对象存储设备

      每个OSD都是一个智能设备,具有自己的存储介质、处理器、内存以及网络系统等,负责管理本地的Object,是对象存储系统的核心。OSD同块设备的不同不在于存储介质,而在于两者提供的访问接口。OSD的主要功能包括数据存储和安全访问。目前国际上通常采用刀片式结构实现对象存储设备。OSD提供三个主要功能:

    1. 数据存储。OSD管理对象数据,并将它们放置在标准的磁盘系统上,OSD不提供块接口访问方式,Client请求数据时用对象ID、偏移进行数据读写。
    2. 智能分布。OSD用其自身的CPU和内存优化数据分布,并支持数据的预取。由于OSD可以智能地支持对象的预取,从而可以优化磁盘的性能。
    3. 每个对象元数据的管理。OSD管理存储在其上对象的元数据,该元数据与传统的inode元数据相似,通常包括对象的数据块和对象的长度。而在传统的NAS系统中,这些元数据是由文件服务器维护的,对象存储架构将系统中主要的元数据管理工作由OSD来完成,降低了Client的开销。

    在这里插入图片描述

    传统模型与OSD模型示意

    3、元数据服务器(Metadata Server,MDS)

      MDS控制Client与OSD对象的交互,为客户端提供元数据,主要是文件的逻辑视图,包括文件与目录的组织关系、每个文件所对应的OSD等。主要提供以下几个功能:

    1. 对象存储访问。MDS构造、管理描述每个文件分布的视图,允许Client直接访问对象。MDS为Client提供访问该文件所含对象的能力,OSD在接收到每个请求时将先验证该能力,然后才可以访问。
    2. 文件和目录访问管理。MDS在存储系统上构建一个文件结构,包括限额控制、目录和文件的创建和删除、访问控制等。
    3. Client Cache一致性。为了提高Client性能,在对象存储系统设计时通常支持Client方的Cache。由于引入Client方的Cache,带来了Cache一致性问题,MDS支持基于Client的文件Cache,当Cache的文件发生改变时,将通知Client刷新Cache,从而防止Cache不一致引发的问题。

    4、对象存储系统的客户端(Client)

      为了有效支持Client支持访问OSD上的对象,需要在计算节点实现对象存储系统的Client。现有的应用对数据的访问大部分都是通过POSIX文件方式进行的,对象存储系统提供给用户的也是标准的POSIX文件访问接口。接口具有和通用文件系统相同的访问方式,同时为了提高性能,也具有对数据的Cache功能和文件的条带功能。同时,文件系统必须维护不同客户端上Cache的一致性,保证文件系统的数据一致。文件系统读访问流程:

    • 1)客户端应用发出读请求;
    • 2)文件系统向元数据服务器发送请求,获取要读取的数据所在的OSD;
    • 3)然后直接向每个OSD发送数据读取请求;
    • 4)OSD得到请求以后,判断要读取的Object,并根据此Object要求的认证方式,对客户端进行认证,如果此客户端得到授权,则将Object的数据返回给客户端;
    • 5)文件系统收到OSD返回的数据以后,读操作完成。

    对象存储应用场景

      通常,无论是虚拟主机还是独立云主机,作为个人网站都会把所有的图片都存储在空间里,这样有一下几个问题:

    1. 随着网站的运行,图片越来越多,会导致主机的空间使用越来越多;
    2. 图片的增多会导致网站页面打开速度越来越慢,因为越来越多的图片需要从服务器上下载到本地浏览器的缓存目录,这样需要越来越多的宽带,而虚拟主机或云主机通常的宽带都是限定的;
    3. 网站迁移的成本越来越大。

      如果使用了云存储,这样可以把图片存储在第三方,所有的图片都不会再消耗虚拟主机的宽带资源和磁盘资源,保证网站访问速度不受影响,迁移网站只需要迁移数据库和基本程序文件即可,基本上几十M就可以打包所有的文件,所以云存储的好处显而易见。

    • 应用场景一:

      如果您的网站有大量的图片,如果都存储在本地,需要大量的磁盘空间,虽然现在磁盘空间的价格已经很低,但是用户访问却需要大量的宽带,超过10G的图片,主机宽带10M是不够的,而10M的云主机每年的价格8000左右,随着年限的增长,云主机需要的硬件和宽带需求会越来越多,那么网站基本成本支出也会越来越搞,如果把所有的图片都存储在云存储里,每年主机成本可以降低2/3,甚至更多。

    • 应用场景二:

      视频存储的问题,可以选择把视频存储在专门的视频网站,比如优酷,腾讯视频,爱奇艺等,但是这样的问题是,所有的视频都会被视频网站加上播放前的贴片广告,这样其实非常不友好,给客户看的视频,还要先看几十秒甚至2分钟广告,这有点尴尬了,但是如果放网站上,会出现磁盘和宽带不足的情况,如果上传到云存储上,设置好伪静态和防止BT软件下载,这样就非常好了。

    • 应用场景三:
        电商、互联网金融、在线教育等行业的Web和移动应用,架构里有数据库、应用服务器、负载均衡的应用,另外还需要存储比如商品图片,互联网金融行业的用户证件照,在线交易视频等文件等,需要存储,此前的做法是搭建文件服务器,文件服务器的扩展性、并发性都有问题,这时候就需要用到对象存储。

    • 应用场景四:
        企业网盘,其后端就是对象存储。企业遍布各地的各个部门文档都在用企业网盘,分享和管理文件,企业网盘可以非常容易地分享给特定的个人,群组或部门。企业网盘是单独的市场,与个人网盘有很大区别,企业对访问权限认证的管理更细致,数据管理要求更高。

    还有很多的应用场景,此处不一一列举。

    • 文章是个人知识点整理总结,如有错误和不足之处欢迎指正。
    • 如有疑问、或希望与笔者探讨技术问题(包括但不限于本章内容),欢迎添加笔者微信(o815441)。请备注“探讨技术问题”。欢迎交流、一起进步。

    http://www.chinastor.com/a/jishu/OSD.html
    https://blog.csdn.net/liuaigui/article/details/17973039
    https://www.wopus.org/tools/4868.html
    http://storage.chinabyte.com/145/12496645.shtml

    展开全文
  • 云原生存储和云存储有什么区别?

    千次阅读 2019-11-06 16:14:37
    作者 |李鹏(壮怀) 阿里云智能事业群高级技术专家 导读:新的企业负载/智能工作负载...本文将介绍一下问题场景,探讨可行的解决方案,最终得出云原生存储以及云存储目前可以做什么和未来还需要做什么。 引言 ...
  • 混合云存储阵列(CSA)于2017年云栖大会发布,上市2年多,已经被基因测序,医疗PACS,影视制作,非编,广电,视频监控等行业和场景的客户广泛采用。混合云存储阵列承载了用户的业务负载的同时,以缓存模式(90%的...
  • 什么是云存储技术与云存储服务?

    千次阅读 2011-06-10 14:51:00
    云计算体系架构之云存储技术与云存储服务和上一节介绍的云安全一样,云存储也有两个不同层面的含义。 借助于云计算理念和技术提供存储服务,如Google 的 Picass oweb在线照片存储服务和微软的Windows Live 文件和...
  • 本课程是云存储的初级课程,从云存储的起源、基本特性和存储系统分类三个方面进行讲述,帮助大家快速理解云存储
  • 宇视云存储配置手册

    2018-07-21 09:54:58
    宇视云存储配置手册宇视云存储配置手册宇视云存储配置手册宇视云存储配置手册
  • 主要为大家详细介绍了微信小程序云开发之使用云存储,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
  • 阿里混合云存储阵列

    千次阅读 2019-03-18 16:18:23
    阿里混合云存储阵列 产品概述 混合云存储阵列(Hybrid Cloud Storage ):软硬一体的存储设备并集成云存储服务,帮助您把本地数据中心同阿里云存储无缝集成,轻松搭建混合云架构。您可以像使用本地存储阵列设备一样...
  • 云存储解析,完整扫描版

    千次下载 热门讨论 2014-03-12 12:55:39
     《云存储解析》可作为正在进入或准备进入云存储领域的软件开发商、设备制造商、电信运营商、互联网公司中的相关从业人士的参考书,也可作为企业进行云存储培训的专业教材,同时还适合关注云存储的高校师生以及社会...
  • 免费云存储

    千次阅读 2019-02-15 10:01:05
    (1)网易免费存储空间。新用户可以免费获取以下体验额度: 50GB免费存储空间,每月100万次免费读请求,每月20GB免费下行流量,每月10万次免费写请求。超过免费使用量之外的部分,按阶梯价计费。该免费存储空间...
  • 深度解析阿里云存储

    万次阅读 2017-08-31 18:41:06
    图1 2017年Gartner全球云存储魔力象限图在去年首次进入Gartner魔力象限即取得了不错的位置之后,今年阿里云存储再次强势进入公共云存储魔力象限,紧跟Google成为公共云存储厂商中在利基象限中最接近领导者象限的公共...
  • 云存储Java客户端上传文件

    千次阅读 2016-09-20 14:17:02
    什么是云存储准确来说应该称为对象存储。云存储是比较流行的一种云服务,提供图片、视频等文件的存储服务。具有代表性的产品有:七牛云、阿里云对象存储OSS、又拍云、腾讯云对象存储服务COS。云存储能做什么打个比方...
  • LBS.云存储和云检索应用实战

    千次阅读 2017-05-03 08:52:21
    通过百度LBS云存储和云检索实现“根据收货地址来检索附近的店铺”的功能。
  • 云存储 云存储提供高可用、高稳定、强安全的云端存储服务, 支持任意数量和形式的非结构化数据存储,如视频和图片, 可在控制台进行可视化管理。 云存储包含以下功能: 存储管理:支持文件夹,方便文件归类。支持...
  • 云存储:对象存储管理与安全

    千次阅读 2017-12-04 14:41:52
    为降低云服务器负载和成本,一般需要将网站...什么是云存储云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是一种新兴的网络存储技术,是指通过集群应用、网络技术或分布式文件系统等
  • 云硬盘与云存储(对象存储)

    千次阅读 2018-06-25 09:59:56
    云存储则类似于网盘一样。 两者听起来差不多,但实际上,无论在应用场景,还是设计上,都有挺大的区别。1、可靠性:云硬盘相当于RAID1的标准,偏重模拟硬盘的性能。而云存储提供简单的API(编程模型和数据模型),...
  • 了解天翼云存储产品,包括对象存储、云硬盘、云硬盘备份、云主机备份和云存储网关的定义、功能、操作以及应用场景;
  • 中国电信云存储

    千次阅读 2011-09-13 09:34:44
    用户角度:安全、高速、便捷、海量、弹性(按需扩展 ) ...电信云存储产品(天翼云存储)业务分类: 1、个人用户存储(个人数据中心)(SaaS) 2、电信自有业务个人数据整合存储; 3、面向第三方的开放平台;(PaaS)
  • 云存储-Google的云存储技术细节 GFS

    千次阅读 2014-02-22 13:10:39
    云存储和云计算的出现是在信息海量存储和处理的需求下产生的,所以是否是真正的云,首先要解决存储和计算的问题。   一:云存储 采用类似Key/value模式和Schema Free列表模式 属于抽象化的数据模型,在转向...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 361,398
精华内容 144,559
关键字:

云存储公司