存储_存储器 - CSDN
存储 订阅
1、存储,把钱或物等积存起来。《清会典事例·户部·库藏》:“户部奏部库空虚,应行存储款项。”《清会典·户部仓场衙门·侍郎职掌》:“每年新漕进仓,仓场酌量旧存各色米多寡匀派分储,将某仓存储某年米色数目,造册先期咨部存案。”鲁迅《书信集·致李小峰》:“《旧时代之死》之作者之家族,现颇窘,几个友人为之集款存储,作孩子读书之用。”2、指积存的钱或物等。沙汀《医生》:“即或偶而想到自己的晚景,想到存储不多,他也能够叹口气就丢开。” 展开全文
1、存储,把钱或物等积存起来。《清会典事例·户部·库藏》:“户部奏部库空虚,应行存储款项。”《清会典·户部仓场衙门·侍郎职掌》:“每年新漕进仓,仓场酌量旧存各色米多寡匀派分储,将某仓存储某年米色数目,造册先期咨部存案。”鲁迅《书信集·致李小峰》:“《旧时代之死》之作者之家族,现颇窘,几个友人为之集款存储,作孩子读书之用。”2、指积存的钱或物等。沙汀《医生》:“即或偶而想到自己的晚景,想到存储不多,他也能够叹口气就丢开。”
信息
常见方式
DAS,NAS和SAN,分布式存储
拼    音
cún chǔ
存储媒介类型
硬盘、磁带、光盘、移动存储设备、分布式存储、企业级存储
含    义
把钱、数据或物等积存起来
中文名
存储
外文名
Storage
存储释义
1、把钱或物等积存起来。《清会典事例·户部·库藏》:“户部奏部库空虚,应行存储款项。”《清会典·户部仓场衙门·侍郎职掌》:“每年新漕进仓,仓场酌量旧存各色米多寡匀派分储,将某仓存储某年米色数目,造册先期咨部存案。”鲁迅《书信集·致李小峰》:“《旧时代之死》之作者之家族,现颇窘,几个友人为之集款存储,作孩子读书之用。”2、指积存的钱或物等。沙汀《医生》:“即或偶而想到自己的晚景,想到存储不多,他也能够叹口气就丢开。” 3、存储就是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些介质上并能保证有效的访问,总的来讲可以包含两个方面的含义:一方面它是数据临时或长期驻留的物理媒介;另一方面,它是保证数据完整安全存放的方式或行为。存储就是把这两个方面结合起来,向客户提供一套数据存放解决方案。
收起全文
精华内容
参与话题
  • 存储基础知识

    万次阅读 2020-09-17 23:59:27
    存储的发展历程 什么是存储存储:就是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些截止上并能保证有效的访问。 当前存储的主要体系结构有三种:DAS、NAS、SAN。 存储发展历程的两...

    存储的发展历程

    什么是存储:

    存储:就是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些介质上并能保证有效的访问。

    当前存储的主要体系结构有三种:DAS、NAS、SAN。

    存储发展历程的两个推动力:

    1. 业务上的需求
    2. 技术上的不断提升

    早期的存储:

    服务器与存储一体:

    1. CPU主频较低
    2. 内存比较小
    3. 硬盘容量也不大
    4. 业务要求也没那么多

    存储发展趋势:

    • 重复数据删除
    • SSD固态硬盘
    • 云存储
    • 虚拟化环境的保护
    • 一体化应用存储设备
    • 非结构化数据存储与管理
    • 备份容灾

    存储与应用环境

    主机内部存储环境:

    主机内部I/O流程各个环境共同构成了数据储存的内部应环境。

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nhwFBEjP-1600358338453)(存储基础知识/内部.png)]

    图:内部存储环境流程

    主机内部存储环境的瓶颈:

    传统内置存储,有接口,CPU,内存,硬盘等。

    • 硬盘成为整个系统的瓶颈

      有限的硬盘槽数

      单个硬盘存放数据,安全性得不到保证

    • 存储空间利用率等

      本地存储,数据分散,难以共享

    • 可扩展性不够

      总线结构,而非网络结构

      可连接的设备受到限制增加容量时,需停机

    网络存储应用环境:

    网络存储系统各层构成了网络存储系统的应用环境,决定了数据存储的可靠性、性能和安全性。

    这里写图片描述

    图:网络存储结构

    存储介质

    机械硬盘:

    这里写图片描述

    图:机械硬盘结构

    机械硬盘由盘片、磁头驱动机构、接口、控制电路、磁头组件、主轴等构成。还有高速缓存芯片、主控芯片、数据传输信息。

    机械硬盘的主要参数:

    • 硬盘容量(Volume)

    • 缓存(Rotatinoal speed):磁盘转动圈数/分钟

    • 缓存

    • 平均访问时间

      平均访问时间由平均寻道时间和平均等待时间构成。

    • 数据传输率(Data Transfer Rate)

      内部传输率(Internal Transfer Rate)

      外部传输率(External Transfer Rate)

    • IOPS(Input/Output per Second)每秒的输入输出量(或读写次数),是衡量磁盘性能的主要指标之一。

    • Throughput吞吐量:值单位时间内可以成功传输的数据数量。对于大量数据读写的应用,如电视台的视频编辑,视频点播VOD(Video On Demand),则更关注吞吐量指标。

    SSD硬盘:

    这里写图片描述

    图:SSD架构框图
    • 无高速旋转部件,性能高,功耗低
    • 多通道并发,通道内Flash颗粒复用时序
    • 支持TCQ/NCQ,一次响应多个IO请求。
    • 典型响应时间低于0.1ms。

    SSD优势:

    1. 响应时间段

      机械硬盘的机械特性导致大部分时间浪费在寻道和机械延迟上,数据传输效率受到严重制约。

    2. 读写效率高

      机械硬盘在进行随机读写操作时,磁头不听地移动,导致读写效率底下,而SSD通过内部控制器计算出数据的存放位置,直接进行存取操作,过效率高。

    3. 设备温度低,功耗比机械硬盘低。

    4. SSD不含高速的机械结构部件,可经得住严苛的环境考验,以华为SSD硬盘为例:

      HSSD可承受整栋加速度16.4G,机械硬盘一般为0.5G以下。

      HSSD可抗冲击1500G,机械硬盘一般为70G左右。

    SSD硬盘–存储中的应用:

    这里写图片描述

    图:存储中的应用

    硬盘接口类型:

    • ATA(Advanced Technology Attachment)高级技术附加装置

      ATA硬盘以经常成为IDE Integrated Drive Electronics硬盘。

      ATA接口为并行ATA技术。

    • SCSI接口(Small Computer System Interface)小型计算机系统接口

    • SATA:Serial ATA,串型ATA。

      SATA采用串型方式进行数据传输,接口速率比IDE接口高,最低为150Mps,并且第二代(SATA II),300Mbps接口硬盘已经形成商用,规划内的最高速率可达600Mbps。

      SATA硬盘采用点对点连接方式,支持热插拔,即插即用。

      适合大数据块,业务压力不大的用户使用。如;企业备份数据,归档数据,视频图片存储。

    • SAS接口:(Serial Attached SCSI)串行连接SCSI

      SAS是一种点对点、全双工、双端口的接口。

      SAS专为满足高性能企业需求而设计,实现与SATA的互操作,为企业用户带来前所未有的灵活性和低成本。

      速率每路600M

      SAS具有高性能、高可靠性、强大的扩展性能。

      适合业务量大, 范围评率较高,以小数据块居多,数据较为离散的中/高端用户。如:企业数据库,CRM、ERP等应用。

    • FC接口:FC硬盘采用FC-AL(Fiber Channel Arbitrated Loop)光纤通道仲裁环。

      FC-AL是一种双端口的串型存储接口

      FC-AL支持全双工工作方式

      FC-AL利用类似SATA/SAS所用的4芯连接,提供一种单环拓步结构,一个控制器能够访问126个硬盘。

    • NL SAS采用SAS接口,SATA盘体,也叫近线SAS。

      原生支持SCSI,支持双端口访问,高级容错技术,大容量低功耗。

      更适合大数据块业务,压力不大的用户使用。如:;邮件服务器,文件服务器。

    展开全文
  • 三种存储类型和三种存储方式

    万次阅读 2019-07-02 15:01:24
    存储和文件存储是我们比较熟悉的两种主流的存储类型,而对象存储(Object-based Storage)是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备(Object-based Storage Device)简称OSD。 本质是一样...

    在这里插入图片描述
    三种存储方式:DAS、SAN、NAS
    三种存储类型:块存储、文件存储、对象存储

    块存储和文件存储是我们比较熟悉的两种主流的存储类型,而对象存储(Object-based Storage)是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备(Object-based Storage Device)简称OSD。

    本质是一样的,底层都是块存储,只是在对外接口上表现不一致,分别应用于不同的业务场景。

    分布式存储的应用场景相对于其存储接口,现在流行分为三种:

    对象存储: 也就是通常意义的键值存储,其接口就是简单的GET、PUT、DEL和其他扩展,如七牛、又拍、Swift、S3

    块存储: 这种接口通常以QEMU Driver或者Kernel Module的方式存在,这种接口需要实现Linux的Block Device的接口或者QEMU提供的Block Driver接口,如Sheepdog,AWS的EBS,青云的云硬盘和阿里云的盘古系统,还有Ceph的RBD(RBD是Ceph面向块存储的接口)

    文件存储: 通常意义是支持POSIX接口,它跟传统的文件系统如Ext4是一个类型的,但区别在于分布式存储提供了并行化的能力,如Ceph的CephFS(CephFS是Ceph面向文件存储的接口),但是有时候又会把GFS,HDFS这种非POSIX接口的类文件存储接口归入此类。

    块存储

    在这里插入图片描述
    以下列出的两种存储方式都是块存储类型:

    • DAS(Direct Attach STorage):是直接连接于主机服务器的一种储存方式,每一台主机服务器有独立的储存设备,每台主机服务器的储存设备无法互通,需要跨主机存取资料时,必须经过相对复杂的设定,若主机服务器分属不同的操作系统,要存取彼此的资料,更是复杂,有些系统甚至不能存取。通常用在单一网络环境下且数据交换量不大,性能要求不高的环境下,可以说是一种应用较为早的技术实现。
    • SAN(Storage Area Network):是一种用高速(光纤)网络联接专业主机服务器的一种储存方式,此系统会位于主机群的后端,它使用高速I/O 联结方式, 如 SCSI, ESCON 及 Fibre- Channels。一般而言,SAN应用在对网络速度要求高、对数据的可靠性和安全性要求高、对数据共享的性能要求高的应用环境中,特点是代价高,性能好。例如电信、银行的大数据量关键应用。它采用SCSI 块I/O的命令集,通过在磁盘或FC(Fiber Channel)级的数据访问提供高性能的随机I/O和数据吞吐率,它具有高带宽、低延迟的优势,在高性能计算中占有一席之地,但是由于SAN系统的价格较高,且可扩展性较差,已不能满足成千上万个CPU规模的系统。

    典型设备:磁盘阵列、硬盘
    块存储主要是将裸磁盘空间整个映射给主机使用的。块存储就是在物理层这个层面对外提供服务,使用它的系统,有用自己的文件系统格式化。这样一旦被一个系统使用,就独占了。
    就是说例如:磁盘阵列里面有5块硬盘,然后可以通过划逻辑盘、做Raid、或者LVM等方式逻辑划分出N个逻辑的硬盘。但是逻辑盘和物理盘是两个完全不同的概念。假设每个硬盘100G,共有5个硬盘,划分为逻辑盘也为5个,每个100G,但是这5个逻辑盘和原来的5个物理盘意义完全不同了。例如第一个逻辑盘第一个20G可能来自物理盘1,第二个20G来自物理盘2,所以逻辑盘是多个物理盘逻辑虚构出来的硬盘。
    接着块存储会采用映射的方式将这几个逻辑盘映射给主机,主机上面的操作系统会识别到有5块硬盘,但是操作系统是无法区分到底是物理盘还是逻辑盘,它一概就认为只是5块裸的物理硬盘而已,跟直接拿一块物理硬盘挂载到操作系统没区别,至少操作系统感知上没有区别的。
    在此方式下,操作系统还需要对挂载的裸硬盘进行分区、格式化后,才能使用,与平常主机内置的硬盘无差异。

    优点
    (1)这种方式的好处当然是因为通过了Raid与LVM等手段,对数据提供了保护;
    (2)可以将多块廉价的硬盘组合起来,称为一个大容量的逻辑盘对外提供服务,提高了容量;
    (3)写入数据时,由于是多块磁盘组合出来的逻辑盘,所以几块硬盘可以并行写入的,提升了读写效率;
    (4)很多时候块存储采用SAN架构组网,传输速度以及封装协议的原因,使得传输速度和读写效率得到提升

    缺点
    (1)采用SAN架构组网时,需要额外为主机购买光纤通道卡,还要购买光纤交换机,造价成本高;
    (2)主机之间数据无法共享,在服务器不做集群的情况下,块存储裸盘映射给主机,在格式化使用后,对于主机来说相当于本地盘,那么主机A的本地盘根本不能给主机B去使用,无法共享数据
    (3)不利于不同操作系统主机间的数据共享:因为操作系统使用不同的文件系统,格式化后,不同的文件系统间的数据是共享不了的。 例如一台win7,文件系统是FAT32/NTFS,而linux是EXT4,EXT4是无法识别NTFS的文件系统的

    使用场景
    docker容器、虚拟机磁盘存储分配。
    日志存储。
    文件存储。

    文件存储

    在这里插入图片描述
    通常,NAS产品都是文件级存储。
    NAS(Network Attached Storage):是一套网络储存设备,通常是直接连在网络上并提供资料存取服务,一套 NAS 储存设备就如同一个提供数据文件服务的系统,特点是性价比高。例如教育、政府、企业等数据存储应用。
    它采用NFS或CIFS命令集访问数据,以文件为传输协议,通过TCP/IP实现网络化存储,可扩展性好、价格便宜、用户易管理,如目前在集群计算中应用较多的NFS文件系统,但由于NAS的协议开销高、带宽低、延迟大,不利于在高性能集群中应用。

    典型设备:FTP、NFS服务器
    为了克服文件无法共享的问题,所以有了文件存储。
    文件存储,就是在文件系统一层对外提供服务,系统只用访问文件系统一级就可以,各个系统都可以根据接口取访问。
    文件存储也有软硬一体化的设备,但是其实一台普通的PC机,只要装上合适的操作系统和软件,就可以假设FTP与NFS服务了,架上该类服务之后的服务器,就是文件存储的一种了。
    主机A可以直接对文件存储进行文件的上传和下载,与块存储不同,主机A是不需要再对文件存储进行格式化的,因为文件管理功能已经由文件存储自己搞定了。

    优点
    (1)造价低:随便一台机器就可以,另外普通的以太网就可以,根本不需要专用的SAN网络,所以造价低
    (2)方便文件共享

    缺点
    (1)读写速率低,传输速率慢:以太网,上传下载速度较慢,另外所有读写都要1台服务器里面的硬盘来承受,相比起磁盘阵列动不动就十几上百块硬盘同时读写,速率慢了许多。

    使用场景
    日志存储。
    有目录结构的文件存储。

    对象存储

    在这里插入图片描述
    典型设备:内置大容量硬盘的分布式服务器

    对象存储最常用的方案,就是多台服务器内置大容量硬盘,再装上对象存储软件,然后再额外搞几台服务作为管理节点,安装上对象存储管理软件。管理节点可以管理其他服务器对外提供读写访问功能。

    之所以出现对象存储这种东西,是为了克服块存储与文件存储各自的缺点,发扬各自的优点。简单来说块存储读写快,不利于共享,文件存储读写慢,利于共享。能否弄一个读写块,利于共享的存储出来呢?于是就有了对象存储。

    首先,一个文件包含了属性(术语:metadata,元数据,例如该文件的大小、修改时间、存储路径等)以及内容(数据)。

    像FAT32这种文件系统,是直接将一份文件与metadata一起存储的,存储过程先将文件按照文件系统的最小块大小来打散(例如4M的文件,假设文件系统要求一个块4K,那么就将文件打散称为1000个小块),再写进硬盘里,过程中没有区分数据和metadata的。而每个块最后会告知你下一个要读取的块地址,然后一直这样顺序的按图索骥,最后完成整份文件的所有块的读取。
    这种情况下读写速率很慢,因为就算你有100个机械臂在读写,但是由于你只有读取到第一个块,才能知道下一个块在哪里,其实相当于只能有1个机械臂在实际工作。

    而对象存储则将元数据独立出来了,控制节点叫元数据服务器(服务器+对象存储管理软件),里面主要负责存储对象的属性(主要是对象的数据被打散存放到了那几台分布式服务器中的信息)而其他负责存储数据的分布式服务器叫做OSD,主要负责存储文件的数据部分。当用户访问对象,会先访问元数据服务器,元数据服务器只负责反馈对象存储在哪里OSD,假设反馈文件A存储在B、C、D三台OSD,那么用户就会再次直接访问3台OSD服务器去读取数据。
    这时候由于是3台OSD同时对外传输数据,所以传输的速度就会加快了,当OSD服务器数量越多,这种读写速度的提升就越大,通过此种方式,实现了读写快的目的。

    另一方面,对象存储软件是有专门的文件系统的,所以OSD对外又相当于文件服务器,那么就不存在共享方面的困难了,也解决了文件共享方面的问题。所以对象存储的出现,很好的结合了块存储和文件存储的优点。

    关键技术

    对象存储文件系统的关键技术是什么?
    (1)分布元数据
    (2)并发数据访问,对象存储体系结构定义了一个新的、更加智能化的磁盘接口OSD

    什么是OSD?

    存储局域网(SAN)和网络附加存储(NAS)是我们比较熟悉的两种主流网络存储架构,而对象存储是一种新的网络存储架构,基于对象存储技术的设备就是对象存储设备,简称:OSD

    在存储对象中通过什么对象方式访问对象?

    在存储设备中,所有对象都有一个对象标识,通过对象标识OSD命令访问对象

    OSD的主要功能是什么?
    (1)数据存储。OSD管理对象数据,并将它们放置在标准的磁盘系统上,OSD不提供块接口访问方式,Client请求数据时用对象ID、偏移进行数据读写;
    (2)智能分布。OSD用其自身的CPU和内存优化数据分布,并支持数据的预取。由于OSD可以智能的支持对象的预取,从而可以优化磁盘的性能
    (3)每个对象元数据的管理。OSD管理存储在其上对象的元数据,该元数据与传统的inode元数据相似,通常包括对象的数据块和对象的长度。

    优点
    具备块存储的读写高速。
    具备文件存储的共享等特性。

    使用场景: (适合更新变动较少的数据)
    图片存储。
    视频存储。

    为什么对象存储兼具块存储和文件存储的好处,还要使用块存储和文件存储呢?
    (1)有一类应用是需要存储直接裸盘映射的,例如数据库。
    因为数据需要存储裸盘映射给自己后,再根据自己的数据库文件系统来对裸盘进行格式化的,所以是不能够采用其他已经被格式化为某种文件系统的存储的。此类应用更合适使用块存储。
    (2)对象存储的成本比起普通的文件存储还要较高,需要购买专门的对象存储软件以及大容量硬盘。如果对数据量要求不是海量,只是为了做文件共享的时候,直接用文件存储的形式好了,性价比高。

    三种存储类型差异

    在这里插入图片描述

    三种存储方式差异

    在这里插入图片描述
    在这里插入图片描述
    参考资料:
    http://www.cnblogs.com/hukey/p/8323853.html
    https://mp.weixin.qq.com/s/6yQoQTrIInL2FHCu1-Okww
    https://blog.csdn.net/xiaoliuliu2050/article/details/79962841

    展开全文
  • 储存、对象存储、文件存储的区别和联系

    万次阅读 多人点赞 2017-06-29 22:04:48
    储存、对象存储、文件存储的区别和联系 通常来讲,队友磁盘阵列都是基于Block块的存储,而所有的NAS产品都是文件级存储。 1. 块存储:DAS SAN a) DAS(Direct Attach Storage): 是直接连接于主机服务器的一种存储...

    块储存、对象存储、文件存储的区别和联系

    通常来讲,磁盘阵列都是基于Block块的存储,而所有的NAS产品都是文件级存储。

    1. 块存储:DAS   SAN

    a) DAS(Direct Attach Storage): 是直接连接于主机服务器的一种存储方式,每台服务器有独立的存储设备,每台主机服务器的存储设备无法互通,需要跨主机存取资料室,必须经过相对复杂的设定,若主机分属不同的操作系统,则更复杂。

    应用:单一网络环境下且数据交换量不大,性能要求不高的环境,技术实现较早。

    b) SAN(Storage Area Network): 是一种高速(光纤)网络联接专业主机服务器的一种存储方式,此系统会位于主机群的后端,它使用高速I/O联接方式,如:SCSI,ESCONFibre-Channels.特点是,代价高、性能好。但是由于SAN系统的价格较高,且可扩展性较差,已不能满足成千上万个CPU规模的系统。

    应用:对网速要求高、对数据可靠性和安全性要求高、对数据共享的性能要求高的应用环境中。

     

    2. 文件存储

    通常NAS产品都是文件级存储。

    NAS(Network Attached Storage):是一套网络存储设备,通常直接连在网络上并提供资料存取服务,一套NAS储存设备就如同一个提供数据文件服务的系统,特点是性价比高。

    它采用NFSCIFS命令集访问数据,以文件为传输协议,可扩展性好、价格便宜、用户易管理。目前在集群计算中应用较多的NFS文件系统,但由于NAS的协议开销高、带宽低、延迟大,不利于在高性能集群中应用。

     

    3. 对象存储:

    总体上讲,对象存储同时兼具SAN高级直接访问磁盘特点及NAS的分布式共享特点。

    核心是将数据通路(数据读或写)和控制通路(元数据)分离,并且基于对象存储设备(OSD),构建存储系统,每个对象存储设备具备一定的职能,能够自动管理其上的数据分布。

    对象储存结构组成部分(对象、对象存储设备、元数据服务器、对象存储系统的客户端)

    3.1 对象

    一个对象实际就是文件的数据和一组属性信息的组合。

    3.2 对象存储设备(OSD)

    OSD具有一定的智能,它有自己的CPU、内存、网络和磁盘系统。

    OSD提供三个主要功能:包括数据存储和安全访问

    (1)数据存储  (2)智能分布  (3)每个对象元数据的管理

    3.3 元数据服务器(Metadata Server , MDS)

    MDS控制ClientOSD对象的交互,主要提供以下几个功能:

    (1) 对象存储访问

    允许Client直接访问对象,OSD接收到请求时先验证该能力,再访问。

    (2) 文件和目录访问管理

    MDS在存储系统上构建一个文件结构,限额控制、包括目录、文件的创建、访问控制等

    (3) Client Cache 一致性

    为提高性能,在对象存储系统设计时通常支持ClientCache。因此带来了Cache一致性的问题,当Cache文件发生改变时,将通知Client刷新Cache,以防Cache不一致引发的问题。

     对象存储:

    一个文件包含了属性(术语叫matadata元数据,例如该文件的大小、修改时间、存储路径等)以及内容(简称数据)

    以往的文件系统,存储过程将文件按文件系统的最小块来打散,再写进硬盘,过程中没有区分元数据(metadata)和数据。而在每个块最后才会告知下一个块的地址,因此只能一个一个读,速度慢。

    而对象存储则将元数据独立出来,控制节点叫元数据服务器(服务器+对象存储管理软件),里面主要存储对象的属性(主要是对象的数据被打散存放到了那几台分布式服务器中的信息),而其他负责存储数据的分布式服务器叫做OSD,主要负责存储文件的数据部分。当用户访问对象时,会先访问元数据服务器,元数据服务器只负责反馈对象存储在那些OSD。假设反馈文件A存储在B,C,D三台OSD,那么用户就会再次访问三台OSD服务器去读取数据。

    这时三台OSD同时对外传输数据,因此传输的速度就加快了。OSD服务器数量越多,这种读写速度的提升就越大。

    另一方面,对象存储软件有专门的文件系统,所以OSD对外又相当于文件服务器,那么就不存在文件共享方面的困难了,也解决了文件共享方面的问题。

    因此对象存储的出现,很好的结合了块存储与文件存储的优点。

     

    为什么还要使用块存储和文件存储:

    1.有一类应用是需要存储直接裸盘映射的,比如数据库。因为数据库需要存储裸盘映射给自己后,再根据自己的数据库文件系统来对了裸盘进行格式化,因此不能采用其他已经被格式化为某种文件系统的存储。此类更适合块存储。

    2.对象存储的成本比普通的文件存储还是较高,需要购买专门的对象存储软件以及大容量硬盘。如果对数据量要求不是海量,只是为了作文件共享的时候,直接用文件存储的形式就好了,性价比高。

    展开全文
  • 分布式存储与传统存储架构

    万次阅读 2019-04-10 20:34:58
    随着主机、磁盘、网络等技术的发展,对于承载大量数据存储的服务器来说,服务器内置存储空间,或者说内置磁盘往往不足以满足存储需要或者虽然能满足要求,但各个服务器之间独立,严重降低了磁盘的利用率。...
    随着主机、磁盘、网络等技术的发展,对于承载大量数据存储的服务器来说,服务器内置存储空间,或者说内置磁盘往往不足以满足存储需要或者虽然能满足要求,但各个服务器之间独立,严重降低了磁盘的利用率。因此,在内置存储之外,服务器需要采用外置存储的方式扩展存储空间,今天IT君给大家分享一下当前主流的存储架构。

    直连式存储(简称DAS)

    DAS存储是最为常见的存储形式之一,特别是其是在规模比较小的企业中。由于企业本身数据量不大,且光纤交换机等设备价格昂贵,因此基本都采用高密度的存储服务器或者服务器后接JBOD等形式,这种形式的存储属于DAS架构。

     

     

    对于DAS存储,其实可以是在服务器内部直接连接磁盘组,或者通过外接线连接磁盘阵列两种方式。对于外联的方式通常是通过SAS线进行连接,其实通过FC进行服务器与磁盘阵列的连接也可以理解为DAS存储形式,并没有严格的定义。对于通过SAS方式直连的DAS通常需要通过硬件RAID卡或者软RAID的方式实现磁盘的冗余保护,防止由于磁盘故障导致整个存储系统的不可用而丢失数据。同时,采用该种方式的存储通常还需要在主机端安装备份软件对数据进行定期备份,以防止设备故障导致数据丢失。

    无论直连式存储还是服务器主机的扩展,从一台服务器扩展为多台服务器组成的群集(Cluster),或存储阵列容量的扩展,都会造成业务系统的停机,从而给企业带来经济损失,对于银行、电信、传媒等行业7×24小时服务的关键业务系统,这是不可接受的。并且直连式存储或服务器主机的升级扩展,只能由原设备厂商提供,往往受原设备厂商限制。

     

    网络连接存储(简称NAS)

    网络储存设备 (Network Attached Storage,NAS),从名称上可以看出是其可以通过以太网方式接入并进行访问的存储形式。简单来说NAS就是一台在网络上提供文档共享服务的的网络存储服务器。NAS存储设备可以直接连接在以太网中,之后在该网络域内的不同类型操作系统主机都可以实现对该设备的访问。使用者可以通过某种方式(例如linux下的mount命令)将存储服务挂载到本地进行访问,在本地呈现的就是一个文件目录树。我们所熟悉的NFS其实就是一个NAS存储形式,NFS服务器就是NAS存储设备,我们可以通过开源软件搭建该种类型的存储设备,当然市面上也有很多成熟的产品。

    NAS与传统的直接储存设备不同的地方在于NAS设备通常只提供了资料储存、资料存取、以及相关的管理功能,不会与其它业务混合部署,这样就增加该设备的稳定性,减少故障的发生概率。NAS的型式很多样化,可以是一个大量生产的嵌入式设备,也可以在一般的电脑上执行NAS的软件。NAS用的是以文档为单位的通信协议,这些通信协议都是标准协议,目前比较知名的是NFS和CIFS两种。其中NFS在UNIX系统上很常见,而CIFS则在Windows系统经常使用。

    目前也有一些开源的软件实现了NAS的功能,例如FreeNAS和Openfiler 等开源软件。其中FreeNAS的开放源码NAS软件用的就是精简版的FreeBSD操作系统,它可以在一般的电脑硬件上执行,而商业化的嵌入式设备用的则是封闭源码的操作系统和通讯协定程式。而Openfiler则能把标准x86/64架构的系统变成一个强大的NAS、SAN存储和IP存储网关,为管理员提供一个强大的管理平台,并能能应付未来的存储需求。

    NAS产品有一个比较大的优势是真正即插即用。NAS设备一般支持多计算机平台,用户通过网络支持协议可进入相同的文档,因而NAS设备无需改造即可用于混合Unix/Windows NT局域网内,同时NAS的应用非常灵活。

    存储区域网络(Storage Area Network,简称SAN)

    SAN存储 (存储区域网络Storage Area Network)也即存储区域网络,这个是通过某种交换机(例如光纤交换机或者IB交换机等)连接存储阵列和服务器主机等设备,形成一个专用的存储网络。其概念的核心是形成一个存储网络,该网络是专有网络,不同于NAS中的以太网,这种网络往往无法与现有以太网实现互联互通。所谓的专用存储网络主要体现在通信设备和协议上,目前主流的是FC-SAN,也就是基于FC设备及通信协议的存储区域网络。

    鉴于上述缺点,后面有发展出一种基于以太网的SAN存储形式,这个就是我们通常所说的iSCSI。这种存储形式其实是利用TCP/IP协议实现了对SCSI协议的封装。 主机端相当于CS架构的客户端,而存储端则是服务端。该种方式SAN存储的优点是实现存储网络与传统以太网的互联互通。特别是万兆网的普及,基于iSCSI的SAN解决方案开始大规模应用,与光纤通道技术相比较而言,这种技术具有良好的性能,而且价格低廉。

    SAN存储的隔离特性使得存储设备可以实现更多的附加功能,从而增强存储系统的可靠性、可用性和利用率等。比如在存储设备端实现容灾软件,可以实时的将数据备份到其它数据中心的存储设备。或者在存储设备增加压缩或者去重功能,从而提高存储设备的利用率等。

    因为SAN解决方案是从基本功能剥离出存储功能,所以运行备份操作就无需考虑它们对网络总体性能的影响。SAN方案也使得管理及集中控制实现简化,特别是对于全部存储设备都集群在一起的时候。最后一点,光纤接口提供了10公里的连接长度,这使得实现物理上分离的、不在机房的存储变得非常容易。

    SAN和NAS都是通过网络的方式实现了业务服务器与存储设备的连接和访问,但两者是有别的前者在业务服务器上呈现的是一个磁盘,需要格式化成文件系统后使用;而后者在业务服务器上呈现的是文件系统。

    统一存储

    所谓统一存储其实在架构上与上述两种形式并没有差异,只是将上述两种方式整合到一台物理设备中,并可以同时对外提供SAN和NAS服务。该设备的前端接口可支持FC 8Gb、iSCSI 1Gb和iSCSI 10Gb,后端具备SAS 6Gb硬盘扩展接口,可支持SAS、SATA硬盘及SSD固态硬盘具备极佳的扩展能力。实现FC SAN与IP SAN、各类存储介质的完美融合,有效整合用户现有存储网络架构,实现高性能SAN网络的统一部署和集中管理,以适应业务和应用变化的动态需求。主机接口及硬盘接口均采用模块化设计,更换主机接口或硬盘扩展接口,无须更换固件,可大大简化升级维护的难度和工作量。

     

     

    分布式存储

    分布式存储是一种数据存储技术,通过网络使用企业中的每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散的存储在企业的各个角落。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

    如图5所示,分布式存储使用的设备一般是常规服务器,而非存储设备。分布式存储通过非标准协议实现服务器上存储资源的整个,并进行存储资源池化和虚拟化处理,最后呈现给用户某种形式(块存储或者文件存储)的存储空间。分布式存储有其特异性,其使用的并非标准协议,因此通常需要在应用服务器安装其客户端软件实现存储空间的虚拟呈现,以及请求的处理。

    由于分布式存储拓扑结构的复杂性,其出现故障的概率也大大增加了。因此,对于分布式存储需要实现基于网络的数据冗余、数据保护和数据容错等功能,确保在出现任何异常情况(例如磁盘、网卡、交换机和服务器等)下存储系统的可用性和可靠性。

     

     

    Server SAN

    Server SAN其实也是分布式存储的一种,由于其比较新,目前没有一个具体的定义。 Server San应该是一个利用软件将基于DAS存储(包含闪存卡,直连存储)的集合,做成一个能共享的SAN存储网络。

    SAN存储区域网,大家都很熟悉。普遍使用的就两种: FC SAN和ISCSI SAN。这两种结构是通过FC网络或者IP网络将存储设备放到一个共享的环境中心,让分布式的服务HA,应用迁移,数据复制等都可以通过这套网络实现。但是大家注意了,这套SAN网络是很贵的,管理起来是很麻烦的。 在很多的环境下面,很多SAN环境中会有一部分直连存储我们根本没有用上:比如直连存储卡,本地硬盘等。

    从实际的应用中,直连存储的效率是很高的:PCI-E直接到数据端,比经过FC协议的转换还要快。而且成本低。 Server SAN是一个最新的概念:将分布在各个服务器上的直连存储通过软件的方式整合成一个统一的SAN存储系统。有点类似谷歌在云计算上做的工作,将上万台服务器组成一个超级计算机。 现在Server San已经不是一个概念了,在谷歌和facebook的数据中心已经大量使用了。最经典的案例就是VMware中的vSAN 了。

    本文来自微信公众号 itworld123

    展开全文
  • 数据的四种基本存储方法

    万次阅读 2017-12-09 12:11:10
    数据的四种基本存储方法
  • 对象存储(云存储)概述

    万次阅读 多人点赞 2019-08-14 10:04:35
    文章目录三种存储形态1、块存储2、文件存储3、对象存储对象存储对象存储需求对象存储含义对象存储与传统网络存储的区别扩展知识:NAS与SAN概述1、NAS(Network Attached Storage)优点局限2、SAN(Storage Area ...
  • 知识存储

    千次阅读 2018-07-05 12:06:57
    本节从以Jena为例,对知识在数据库中的导入、存储、查询、更新做一个简要的介绍,而后对主流的图数据库进行介绍。图数据库简介Apache Jena数据的导入查询Endpoint接口查询查询举例更新举例通过SPARQLWrapper 包查询...
  • AWS S3(对象存储)基本操作

    万次阅读 热门讨论 2019-09-26 14:20:04
    1 AWS S3对象存储 1.1 基本概念 1.1.1 存储桶(bucket) 1.1.2 对象 1.1.3 对象标签(tag) 1.2 S3存储类型 2 使用 2.1 安装AWS SDK 2.2 编写基础配置文件 3 基础功能 3.1 桶操作 3.1.1 创建桶 3.1.2 桶的生命周期...
  • 写一个简单的存储过程

    万次阅读 2017-05-02 17:36:38
    创建存储过程的一般写法为: CREATE PROCEDURE (存储过程名称) AS BEGIN (要执行的语句) END 例如: CREATE PROCEDURE sp_MyPro @uid  int AS BEGIN  SELECT * FROM Users WHERE uid = @uid END 创建...
  • 分布式存储基础知识

    万次阅读 2018-11-11 20:47:42
    分布式存储的数据类型有以下三类: 非结构化的数据:主要是数据之间的关联系不大,像文本图片之类的数据 结构化的数据:数据之间关联系很大,关系型数据库这种,可以用表进行表示的 半结构化的数据:介于上述两种...
  • 今年5月1日,戴尔EMC在Dell Technologies World宣布了最新的计算和存储产品方案。 在存储方面,戴尔宣布了VMAX Scal...
  • DAS、SAN和NAS三种服务器存储方式

    万次阅读 多人点赞 2016-09-20 09:27:14
    一、存储的分类 根据服务器类型分为:封闭系统的存储和开放系统的存储, 封闭系统主要指大型机, 开放系统指基于Windows、UNIX、Linux等操作系统的服务器; 开放系统的存储分为: 内置存储 外挂存储 外挂存储...
  • 变量具有对应的存储单元,常量没有!!!可是常量有些是立即数,有些不是储存在内存常量区么,常量区中储存常量,怎么常量还没有存储单元呢
  • QT添加组件储存库问题

    千次阅读 2017-11-22 22:40:01
    http://blog.sina.com.cn/s/blog_8564b95d0102ybpz.html
  • Mysql数据库存储原理

    千次阅读 2018-08-29 10:47:10
    Mysql储存过程是一组为了完成特定功能的SQL语句集,经过编译之后存储在数据库中,当需要使用该组SQL语句时用户只需要通过指定储存过程的名字并给定参数就可以调用执行它了,简而言之就是一组已经写好的命令,需要...
  • linux查看系统存储空间命令

    万次阅读 2018-03-12 14:23:05
    //查看当前系统磁盘使用空间 df -h //查看当前目录文件占用空间大小 du -sh *
  • UE4数据保存

    千次阅读 2016-10-08 10:26:45
    从逻辑来讲类似于iOS的Userdefaults,进行小数据的存储 在游戏进入时先判断是否存在存储数据,蓝图节点为DoesSaveGameExist,如果有就进行读取 利用键盘操作进行数据存储 具体步骤如下: 1.先创建对应的储存蓝图...
  • 我们平时开发的时候会经常用到文件缓存,常用的是手机内部储存和手机外部储存,手机内部存储主要包括APP安装后的一些文件,外部储存就是大家通常可以使用的空间,用来存点图片电影之类的。当需要快速读取的缓存文件...
  • 存储和列存储的区别

    万次阅读 2017-03-28 10:51:51
    存储不同于传统的关系型数据库,其数据在表中是按行存储的,列方式所带来的重要好处之一就是,由于查询中的选择规则是通过列来定义的,因此整个数据库是自动索引化的。按列存储每个字段的数据聚集存储,在查询只...
  • 如何在github上删除一个存储

    千次阅读 2019-04-12 17:29:24
    1:首先点击进入你要删除的存储库,如下图,点击Setings 2:将网页拉到底部,找到Delete this repository按钮,点击 3:在弹出框中输入要删除存储库的名称 ...
1 2 3 4 5 ... 20
收藏数 4,804,698
精华内容 1,921,879
关键字:

存储