精华内容
下载资源
问答
  • 常见分布式存储系统

    千次阅读 2020-04-21 16:22:40
    对象存储是SAN存储和NAS存储结合后的产物,汲取了SAN存储和NAS存储的优点。 1.DAS DAS将计算、存储能力一把抓,封装在一个服务器里。大家日常用的电脑,就是一个DAS系统。 2.NAS 如果将计算和存储分离了,存储成为...

    一、数据存储类型

    一般情况下,我们将存储分成了4种类型,基于本机的DAS和网络的NAS存储、SAN存储、对象存储。对象存储是SAN存储和NAS存储结合后的产物,汲取了SAN存储和NAS存储的优点。

    1.DAS

    DAS将计算、存储能力一把抓,封装在一个服务器里。大家日常用的电脑,就是一个DAS系统。
    在这里插入图片描述

    2.NAS

    如果将计算和存储分离了,存储成为一个独立的设备,并且存储有自己的文件系统,可以自己管理数据,就是NAS。所以NAS存储可以被不同的主机共享。服务器只要提需求,不需要进行大量的计算,将很多工作交给了存储完成,省下的CPU资源可以干更多服务器想干的事情,即计算密集型适合使用NAS。
    在这里插入图片描述

    3.NAS

    计算和存储分离了,存储成为一个独立的设备,存储只是接受命令不再做复杂的计算,只干读取或者写入文件2件事情,叫SAN。
    因为不带文件系统,所以也叫“裸存储”,有些应用就需要裸设备,如数据库。存储只接受简单明了的命令,其他复杂的事情,有服务器端干了。再配合FC网络,这种存储数据读取/写入的速度很高。
    但是每个服务器都有自己的文件系统进行管理,对于存储来说是不挑食的只要来数据我就存,不需要知道来的是什么,不管是英语还是法语,都忠实记录下来的。但是只有懂英语的才能看懂英语的数据,懂法语的看懂法语的数据。所以,一般服务器和SAN存储区域是一夫一妻制的,SAN的共享性不好。当然,有些装了集群文件系统的主机是可以共享同一个存储区域的。

    4.对象存储

    对象存储大量使用在互联网上,大家使用的网盘就是典型的对象存储。对象存储有很好的扩展性,可以线性扩容。并可以通过接口封装,还可以提供NAS存储服务和SAN存储服务。

    VMware的vSAN本质就是一个对象存储。

    二、分布式存储系统

    普通存储方案:Rsync、DAS(IDE/SATA/SAS/SCSI等块)、NAS(NFS、CIFS、SAMBA等文件系统)、SAN(FibreChannel, iSCSI, FoE存储网络块),Openfiler、FreeNas(ZFS快照复制)由于生产环境中往往由于对存储数据量很大,而SAN存储价格又比较昂贵,因此大多会选择分布式存储

    GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存 储服务。
    在这里插入图片描述

    TFS

    TFS(Taobao File System)是由淘宝开发的一个分布式文件系统,其内部经过特殊的优化处理,适用于海量的小文件存储,主要针对海量的非结构化数据,它构筑在普通的Linux机器 集群上,可为外部提供高可靠和高并发的存储访问。目前已经对外开源;

    TFS采用自有的文件系统格式存储,因此需要专用的API接口去访问,目前官方提供的客户端版本有:C++/JAVA/PHP。

    FastDFS

    FastDFS是国人开发的一款分布式文件系统,目前社区比较活跃。如上图所示系统中存在三种节点:Client、Tracker、Storage,在底层存储上通过逻辑的分组概念,使得通过在同组内配置多个Storage,从而实现软RAID10,提升并发IO的性能、简单负载均衡及数据的冗余备份;同时通过线性的添加新的逻辑存储组,从容实现存储容量的线性扩容。

    文件下载上,除了支持通过API方式,目前还提供了apache和nginx的插件支持,同时也可以不使用对应的插件,直接以Web静态资源方式对外提供下载。

    目前FastDFS(V4.x)代码量大概6w多行,内部的网络模型使用比较成熟的libevent三方库,具备高并发的处理能力。

    《操作和部署过程》

    HDFS

    Hadoop 实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch,

    后者是一个开源的网络搜索引擎,本身也是Luene项目的一部分。Aapche Hadoop架构是MapReduce算法的一种开源应用,是Google开创其帝国的重要基石。

    GFS(Google File System)

    Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。尽管Google公布了该系统的一些技术细节,但Google并没有将该系统的软件部分作为开源软件发布。

    展开全文
  • 2 fastDFS 是以C语言开发的一项开源轻量级分布式文件系统,他对文件进行管理,主要功能有:文件存储,文件同步,文件访问(文件上传/下载),特别适合以文件为载体的在线服务,如图片网站,视频网站等 3 [ mfs工作...

    1 GFS是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,并提供容错功能。它可以给大量的用户提供总体性能较高的服务。
    2 fastDFS 是以C语言开发的一项开源轻量级分布式文件系统,他对文件进行管理,主要功能有:文件存储,文件同步,文件访问(文件上传/下载),特别适合以文件为载体的在线服务,如图片网站,视频网站等
    3 [ mfs工作原理 ]

    分布式原理
    分布式文件系统就是把一些分散在多台计算机上的共享文件夹,集合到一个共享文件夹内,用户要访问这些文件夹的时候,只要打开一个文件夹,就可以的看到所有链接到此文件夹内的共享文件夹。
    .
    MFS原理

    MFS是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。

    展开全文
  • 常见开源分布式存储系统

    万次阅读 2017-04-20 19:49:20
    3)Data Server可以分布式部署,存储的数据是以块的方式分布至各存储节点的,因此提升了系统的整体性能,同时Data Server提供了冗余备份的能力,提升系统的可靠性 4)Client通过FUSE方式挂载,提供了类似POSIX的...

    系统整体对比

    对比说明

    /文件系统

    TFS

    FastDFS

    MogileFS

    MooseFS

    GlusterFS

    Ceph

    开发语言

    C++

    C

    Perl

    C

    C

    C++

    开源协议

    GPL V2

    GPL V3

    GPL

    GPL V3

    GPL V3

    LGPL

    数据存储方式

    文件/Trunk

    文件

    文件/

    对象/文件/块

    集群节点通信协议

    私有协议(TCP

    私有协议(TCP

    HTTP

    私有协议(TCP

    私有协议(TCP)/ RDAM(远程直接访问内存)

    私有协议(TCP

    专用元数据存储点

    占用NS

    占用DB

    占用MFS

    占用MDS

    在线扩容

    支持

    支持

    支持

    支持

    支持

    支持

    冗余备份

    支持

    支持

    -

    支持

    支持

    支持

    单点故障

    存在

    不存在

    存在

    存在

    不存在

    存在

    跨集群同步

    支持

    部分支持

    -

    -

    支持

    不适用

    易用性

    安装复杂,官方文档少

    安装简单,社区相对活跃

    -

    安装简单,官方文档多

    安装简单,官方文档专业化

    安装简单,官方文档专业化

    适用场景

    跨集群的小文件

    单集群的中小文件

    -

    单集群的大中文件

    跨集群云存储

    单集群的大中小文件

    开源协议说明

    GPL:不允许修改后和衍生的代码做为闭源的商业软件发布和销售,修改后该软件产品必须也采用GPL协议;

    GPLV2:修改文本的整体就必须按照GPL流通,不仅该修改文本的源码必须向社 会公开,而且对于这种修改文本的流通不准许附加修改者自己作出的限制;

    GPLV3:要求用户公布修改的源代码,还要求公布相关硬件;LGPL:更宽松的GPL

    TFS

    TFS(Taobao File System)是由淘宝开发的一个分布式文件系统,其内部经过特殊的优化处理,适用于海量的小文件存储,目前已经对外开源;

    TFS采用自有的文件系统格式存储,因此需要专用的API接口去访问,目前官方提供的客户端版本有:C++/JAVA/PHP


    § 特性

    1)在TFS文件系统中,NameServer负责管理文件元数据,通过HA机制实现主备热切换,由于所有元数据都是在内存中,其处理效率非常高效,系统架构也非常简单,管理也很方便;

    2)TFS的DataServer作为分部署数据存储节点,同时也具备负载均衡和冗余备份的功能,由于采用自有的文件系统,对小文件会采取合并策略,减少数据碎片,从而提升IO性能;

    3)TFS将元数据信息(BlockID、FileID)直接映射至文件名中,这一设计大大降低了存储元数据的内存空间;

    § 优点

    1)针对小文件量身定做,随机IO性能比较高;

    2)支持在线扩容机制,增强系统的可扩展性;

    3)实现了软RAID,增强系统的并发处理能力及数据容错恢复能力;

    4)支持主备热倒换,提升系统的可用性;

    5)支持主从集群部署,其中从集群主要提供读/备功能;

    § 缺点

    1)TFS只对小文件做优化,不适合大文件的存储;

    2)不支持POSIX通用接口访问,通用性较低;

    3)不支持自定义目录结构,及文件权限控制;

    4)通过API下载,存在单点的性能瓶颈;

    5)官方文档非常少,学习成本高;

    § 应用场景

    1)多集群部署的应用

    2)存储后基本不做改动

    3)海量小型文件

    根据目前官方提供的材料,对单个集群节点,存储节点在1000台以内可以良好工作,如存储节点扩大可能会出现NameServer的性能瓶颈,目前淘宝线上部署容量已达到1800TB规模(2009年数据)

    § 安装及使用

    ·   安装指导

    ·   TFS_配置使用

     

     源代码路径http://code.taobao.org/p/tfs/src/

     

     参考

     http://rdc.taobao.com/blog/cs/?p=128

     http://elf8848.iteye.com/blog/1724423

     http://baike.baidu.com/view/1030880.htm

     http://blog.yunnotes.net/index.php/install_document_for_tfs/

     

    FastDFS

    FastDFS是国人开发的一款分布式文件系统,目前社区比较活跃。如上图所示系统中存在三种节点:Client、Tracker、Storage,在底层存储上通过逻辑的分组概念,使得通过在同组内配置多个Storage,从而实现软RAID10,提升并发IO的性能、简单负载均衡及数据的冗余备份;同时通过线性的添加新的逻辑存储组,从容实现存储容量的线性扩容。

    文件下载上,除了支持通过API方式,目前还提供了apache和nginx的插件支持,同时也可以不使用对应的插件,直接以Web静态资源方式对外提供下载。

    目前FastDFS(V4.x)代码量大概6w多行,内部的网络模型使用比较成熟的libevent三方库,具备高并发的处理能力。

    §特性

    1)在上述介绍中Tracker服务器是整个系统的核心枢纽,其完成了访问调度(负载均衡),监控管理Storage服务器,由此可见Tracker的作用至关重要,也就增加了系统的单点故障,为此FastDFS支持多个备用的Tracker,虽然实际测试发现备用Tracker运行不是非常完美,但还是能保证系统可用。

    2)在文件同步上,只有同组的Storage才做同步,由文件所在的源Storage服务器push至其它Storage服务器,目前同步是采用Binlog方式实现,由于目前底层对同步后的文件不做正确性校验,因此这种同步方式仅适用单个集群点的局部内部网络,如果在公网上使用,肯定会出现损坏文件的情况,需要自行添加文件校验机制。

    3)支持主从文件,非常适合存在关联关系的图片,在存储方式上,FastDFS在主从文件ID上做取巧,完成了关联关系的存储。

    §优点

    1)系统无需支持POSIX(可移植操作系统),降低了系统的复杂度,处理效率更高

    2)支持在线扩容机制,增强系统的可扩展性

    3)实现了软RAID,增强系统的并发处理能力及数据容错恢复能力

    4)支持主从文件,支持自定义扩展名

    5)主备Tracker服务,增强系统的可用性

    §缺点

    1)不支持断点续传,对大文件将是噩梦(FastDFS不适合大文件存储)

    2)不支持POSIX通用接口访问,通用性较低

    3)对跨公网的文件同步,存在较大延迟,需要应用做相应的容错策略

    4)同步机制不支持文件正确性校验,降低了系统的可用性

    5)通过API下载,存在单点的性能瓶颈

    §应用场景

    1)单集群部署的应用

    2)存储后基本不做改动

    3)小中型文件根据

    目前官方提供的材料,现有的使用FastDFS系统存储容量已经达到900T,物理机器已经达到100台(50个组)


     安装指导_FastDFS

     

     源码路径:https://github.com/happyfish100/fastdfs

    §参考

     https://code.google.com/p/fastdfs/ 

     http://bbs.chinaunix.net/forum-240-1.html

     http://portal.ucweb.local/docz/spec/platform/datastore/fastdfs

     

    MooseFS

    MooseFS是一个高可用的故障容错分布式文件系统,它支持通过FUSE方式将文件挂载操作,同时其提供的web管理界面非常方便查看当前的文件存储状态。

    §特性

    1)从下图中我们可以看到MooseFS文件系统由四部分组成:Managing Server 、Data Server 、Metadata Backup Server 及Client

    2)其中所有的元数据都是由Managing Server管理,为了提高整个系统的可用性,MetadataBackup Server记录文件元数据操作日志,用于数据的及时恢复

    3)Data Server可以分布式部署,存储的数据是以块的方式分布至各存储节点的,因此提升了系统的整体性能,同时Data Server提供了冗余备份的能力,提升系统的可靠性

    4)Client通过FUSE方式挂载,提供了类似POSIX的访问方式,从而降低了Client端的开发难度,增强系统的通用性


    §元数据服务器(master):负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复

    §元数据日志服务器(metalogger):负责备份master服务器的变化日志文件,以便于在master server出问题的时候接替其进行工作

    §数据存储服务器(chunkserver):数据实际存储的地方,由多个物理服务器组成,负责连接管理服务器,听从管理服务器调度,提供存储空间,并为客户提供数据传输;多节点拷贝;在数据存储目录,看不见实际的数据


    §优点

    1)部署安装非常简单,管理方便

    2)支持在线扩容机制,增强系统的可扩展性

    3)实现了软RAID,增强系统的 并发处理能力及数据容错恢复能力

    4)数据恢复比较容易,增强系统的可用性5)有回收站功能,方便业务定制

    §缺点

    1)存在单点性能瓶颈及单点故障

    2)MFS Master节点很消耗内存

    3)对于小于64KB的文件,存储利用率较低

    §应用场景

    1)单集群部署的应用

    2)中、大型文件

    §参考

     http://portal.ucweb.local/docz/spec/platform/datastore/moosefsh 

     http://www.moosefs.org/ 

     http://sourceforge.net/projects/moosefs/?source=directory

     

    GlusterFS

    GlusterFS是Red Hat旗下的一款开源分布式文件系统,它具备高扩展、高可用及高性能等特性,由于其无元数据服务器的设计,使其真正实现了线性的扩展能力,使存储总容量可轻松达到PB级别,支持数千客户端并发访问;对跨集群,其强大的Geo-Replication可以实现集群间数据镜像,而且是支持链式复制,这非常适用于垮集群的应用场景

    §特性

    1)目前GlusterFS支持FUSE方式挂载,可以通过标准的NFS/SMB/CIFS协议像访问本体文件一样访问文件系统,同时其也支持HTTP/FTP/GlusterFS访问,同时最新版本支持接入Amazon的AWS系统

    2)GlusterFS系统通过基于SSH的命令行管理界面,可以远程添加、删除存储节点,也可以监控当前存储节点的使用状态

    3)GlusterFS支持集群节点中存储虚拟卷的扩容动态扩容;同时在分布式冗余模式下,具备自愈管理功能,在Geo冗余模式下,文件支持断点续传、异步传输及增量传送等特点

     

    §优点

    1)系统支持POSIX(可移植操作系统),支持FUSE挂载通过多种协议访问,通用性比较高

    2)支持在线扩容机制,增强系统的可扩展性

    3)实现了软RAID,增强系统的 并发处理能力及数据容错恢复能力

    4)强大的命令行管理,降低学习、部署成本

    5)支持整个集群镜像拷贝,方便根据业务压力,增加集群节点

    6)官方资料文档专业化,该文件系统由Red Hat企业级做维护,版本质量有保障

    §缺点

    1)通用性越强,其跨越的层次就越多,影响其IO处理效率

    2)频繁读写下,会产生垃圾文件,占用磁盘空间

    §应用场景

    1)多集群部署的应用

    2)中大型文件根据目前官方提供的材料,现有的使用GlusterFS系统存储容量可轻松达到PB

    §术语:

    brick:分配到卷上的文件系统块;

    client:挂载卷,并对外提供服务;

    server:实际文件存储的地方;

    subvolume:被转换过的文件系统块;

    volume:最终转换后的文件系统卷。

    §参考

      http://www.gluster.org/

      http://www.gluster.org/wp-content/uploads/2012/05/Gluster_File_System-3.3.0-Administration_Guide-en-US.pdf

      http://blog.csdn.net/liuben/article/details/6284551

     

    Ceph

    Ceph是一个可以按对象/块/文件方式存储的开源分布式文件系统,其设计之初,就将单点故障作为首先要解决的问题,因此该系统具备高可用性、高性能及可扩展等特点。该文件系统支持目前还处于试验阶段的高性能文件系统BTRFS(B-Tree文件系统),同时支持按OSD方式存储,因此其性能是很卓越的, 因为该系统处于试商用阶段,需谨慎引入到生产环境

    §特性

    1)Ceph底层存储是基于RADOS(可靠的、自动的分布式对象存储),它提供了LIBRADOS/RADOSGW/RBD/CEPHFS方式访问底层的存储系统,如下图所示

    2)通过FUSE,Ceph支持类似的POSIX访问方式;Ceph分布式系统中最关键的MDS节点是可以部署多台,无单点故障的问题,且处理性能大大提升

    3)Ceph通过使用CRUSH算法动态完成文件inode number到object number的转换,从而避免再存储文件metadata信息,增强系统的灵活性

    §优点

    1)支持对象存储(OSD)集群,通过CRUSH算法,完成文件动态定位, 处理效率更高

    2)支持通过FUSE方式挂载,降低客户端的开发成本,通用性高

    3)支持分布式的MDS/MON,无单点故障

    4)强大的容错处理和自愈能力5)支持在线扩容和冗余备份,增强系统的可靠性

    §缺点

    1)目前处于试验阶段,系统稳定性有待考究

    §应用场景

    1)全网分布式部署的应用

    2)对实时性、可靠性要求比较高官方宣传,存储容量可轻松达到PB级别

     

     源码路径:https://github.com/ceph/ceph

     

    §参考

      http://ceph.com/

     

    MogileFS

    §开发语言:perl

    §开源协议:GPL

    §依赖数据库

    §Trackers(控制中心):负责读写数据库,作为代理复制storage间同步的数据

    §Database:存储源数据(默认mysql

    §Storage:文件存储

    §除了API,可以通过与nginx集成,对外提供下载服务

     

     源码路径:https://github.com/mogilefs

     

    §参考

     https://code.google.com/p/mogilefs/wiki/Start?tm=6

     

     其它参考

     http://blog.csdn.net/qiangweiloveforever/ariticle/details/7566779

     http://weiruoyu.blog.51cto.com/951650/786607 

     http://m.blog.csdn.net/blog/junefsh/18079733

     

    展开全文
  • 分布式存储与传统存储架构

    万次阅读 2019-04-10 20:34:58
    随着主机、磁盘、网络等技术的发展,对于承载大量数据存储的服务器来说,服务器内置存储空间,或者说内置磁盘往往不足以满足存储需要或者虽然能...DAS存储是最为常见存储形式之一,特别是其是在规模比较小的企业中...
    创建了一个关于存储知识的知识星球,里面有很多积累的文档和文章,已经购买本专栏的可以免费获得,请微信联系:sunnyningos

    随着主机、磁盘、网络等技术的发展,对于承载大量数据存储的服务器来说,服务器内置存储空间,或者说内置磁盘往往不足以满足存储需要或者虽然能满足要求,但各个服务器之间独立,严重降低了磁盘的利用率。因此,在内置存储之外,服务器需要采用外置存储的方式扩展存储空间,今天IT君给大家分享一下当前主流的存储架构。

    直连式存储(简称DAS)

    DAS存储是最为常见的存储形式之一,特别是其是在规模比较小的企业中。由于企业本身数据量不大,且光纤交换机等设备价格昂贵,因此基本都采用高密度的存储服务器或者服务器后接JBOD等形式,这种形式的存储属于DAS架构。

     

     

    对于DAS存储,其实可以是在服务器内部直接连接磁盘组,或者通过外接线连接磁盘阵列两种方式。对于外联的方式通常是通过SAS线进行连接,其实通过FC进行服务器与磁盘阵列的连接也可以理解为DAS存储形式,并没有严格的定义。对于通过SAS方式直连的DAS通常需要通过硬件RAID卡或者软RAID的方式实现磁盘的冗余保护,防止由于磁盘故障导致整个存储系统的不可用而丢失数据。同时,采用该种方式的存储通常还需要在主机端安装备份软件对数据进行定期备份,以防止设备故障导致数据丢失。

    无论直连式存储还是服务器主机的扩展,从一台服务器扩展为多台服务器组成的群集(Cluster),或存储阵列容量的扩展,都会造成业务系统的停机,从而给企业带来经济损失,对于银行、电信、传媒等行业7×24小时服务的关键业务系统,这是不可接受的。并且直连式存储或服务器主机的升级扩展,只能由原设备厂商提供,往往受原设备厂商限制。

     

    网络连接存储(简称NAS)

    网络储存设备 (Network Attached Storage,NAS),从名称上可以看出是其可以通过以太网方式接入并进行访问的存储形式。简单来说NAS就是一台在网络上提供文档共享服务的的网络存储服务器。NAS存储设备可以直接连接在以太网中,之后在该网络域内的不同类型操作系统主机都可以实现对该设备的访问。使用者可以通过某种方式(例如linux下的mount命令)将存储服务挂载到本地进行访问,在本地呈现的就是一个文件目录树。我们所熟悉的NFS其实就是一个NAS存储形式,NFS服务器就是NAS存储设备,我们可以通过开源软件搭建该种类型的存储设备,当然市面上也有很多成熟的产品。

    NAS与传统的直接储存设备不同的地方在于NAS设备通常只提供了资料储存、资料存取、以及相关的管理功能,不会与其它业务混合部署,这样就增加该设备的稳定性,减少故障的发生概率。NAS的型式很多样化,可以是一个大量生产的嵌入式设备,也可以在一般的电脑上执行NAS的软件。NAS用的是以文档为单位的通信协议,这些通信协议都是标准协议,目前比较知名的是NFS和CIFS两种。其中NFS在UNIX系统上很常见,而CIFS则在Windows系统经常使用。

    目前也有一些开源的软件实现了NAS的功能,例如FreeNAS和Openfiler 等开源软件。其中FreeNAS的开放源码NAS软件用的就是精简版的FreeBSD操作系统,它可以在一般的电脑硬件上执行,而商业化的嵌入式设备用的则是封闭源码的操作系统和通讯协定程式。而Openfiler则能把标准x86/64架构的系统变成一个强大的NAS、SAN存储和IP存储网关,为管理员提供一个强大的管理平台,并能能应付未来的存储需求。

    NAS产品有一个比较大的优势是真正即插即用。NAS设备一般支持多计算机平台,用户通过网络支持协议可进入相同的文档,因而NAS设备无需改造即可用于混合Unix/Windows NT局域网内,同时NAS的应用非常灵活。

    存储区域网络(Storage Area Network,简称SAN)

    SAN存储 (存储区域网络Storage Area Network)也即存储区域网络,这个是通过某种交换机(例如光纤交换机或者IB交换机等)连接存储阵列和服务器主机等设备,形成一个专用的存储网络。其概念的核心是形成一个存储网络,该网络是专有网络,不同于NAS中的以太网,这种网络往往无法与现有以太网实现互联互通。所谓的专用存储网络主要体现在通信设备和协议上,目前主流的是FC-SAN,也就是基于FC设备及通信协议的存储区域网络。

    鉴于上述缺点,后面有发展出一种基于以太网的SAN存储形式,这个就是我们通常所说的iSCSI。这种存储形式其实是利用TCP/IP协议实现了对SCSI协议的封装。 主机端相当于CS架构的客户端,而存储端则是服务端。该种方式SAN存储的优点是实现存储网络与传统以太网的互联互通。特别是万兆网的普及,基于iSCSI的SAN解决方案开始大规模应用,与光纤通道技术相比较而言,这种技术具有良好的性能,而且价格低廉。

    SAN存储的隔离特性使得存储设备可以实现更多的附加功能,从而增强存储系统的可靠性、可用性和利用率等。比如在存储设备端实现容灾软件,可以实时的将数据备份到其它数据中心的存储设备。或者在存储设备增加压缩或者去重功能,从而提高存储设备的利用率等。

    因为SAN解决方案是从基本功能剥离出存储功能,所以运行备份操作就无需考虑它们对网络总体性能的影响。SAN方案也使得管理及集中控制实现简化,特别是对于全部存储设备都集群在一起的时候。最后一点,光纤接口提供了10公里的连接长度,这使得实现物理上分离的、不在机房的存储变得非常容易。

    SAN和NAS都是通过网络的方式实现了业务服务器与存储设备的连接和访问,但两者是有别的前者在业务服务器上呈现的是一个磁盘,需要格式化成文件系统后使用;而后者在业务服务器上呈现的是文件系统。

    统一存储

    所谓统一存储其实在架构上与上述两种形式并没有差异,只是将上述两种方式整合到一台物理设备中,并可以同时对外提供SAN和NAS服务。该设备的前端接口可支持FC 8Gb、iSCSI 1Gb和iSCSI 10Gb,后端具备SAS 6Gb硬盘扩展接口,可支持SAS、SATA硬盘及SSD固态硬盘具备极佳的扩展能力。实现FC SAN与IP SAN、各类存储介质的完美融合,有效整合用户现有存储网络架构,实现高性能SAN网络的统一部署和集中管理,以适应业务和应用变化的动态需求。主机接口及硬盘接口均采用模块化设计,更换主机接口或硬盘扩展接口,无须更换固件,可大大简化升级维护的难度和工作量。

     

     

    分布式存储

    分布式存储是一种数据存储技术,通过网络使用企业中的每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散的存储在企业的各个角落。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

    如图5所示,分布式存储使用的设备一般是常规服务器,而非存储设备。分布式存储通过非标准协议实现服务器上存储资源的整个,并进行存储资源池化和虚拟化处理,最后呈现给用户某种形式(块存储或者文件存储)的存储空间。分布式存储有其特异性,其使用的并非标准协议,因此通常需要在应用服务器安装其客户端软件实现存储空间的虚拟呈现,以及请求的处理。

    由于分布式存储拓扑结构的复杂性,其出现故障的概率也大大增加了。因此,对于分布式存储需要实现基于网络的数据冗余、数据保护和数据容错等功能,确保在出现任何异常情况(例如磁盘、网卡、交换机和服务器等)下存储系统的可用性和可靠性。

     

     

    Server SAN

    Server SAN其实也是分布式存储的一种,由于其比较新,目前没有一个具体的定义。 Server San应该是一个利用软件将基于DAS存储(包含闪存卡,直连存储)的集合,做成一个能共享的SAN存储网络。

    SAN存储区域网,大家都很熟悉。普遍使用的就两种: FC SAN和ISCSI SAN。这两种结构是通过FC网络或者IP网络将存储设备放到一个共享的环境中心,让分布式的服务HA,应用迁移,数据复制等都可以通过这套网络实现。但是大家注意了,这套SAN网络是很贵的,管理起来是很麻烦的。 在很多的环境下面,很多SAN环境中会有一部分直连存储我们根本没有用上:比如直连存储卡,本地硬盘等。

    从实际的应用中,直连存储的效率是很高的:PCI-E直接到数据端,比经过FC协议的转换还要快。而且成本低。 Server SAN是一个最新的概念:将分布在各个服务器上的直连存储通过软件的方式整合成一个统一的SAN存储系统。有点类似谷歌在云计算上做的工作,将上万台服务器组成一个超级计算机。 现在Server San已经不是一个概念了,在谷歌和facebook的数据中心已经大量使用了。最经典的案例就是VMware中的vSAN 了。

    本文来自微信公众号 itworld123

    展开全文
  • 今天对之前看的分布式存储的相关知识做一个总结,将之前做的笔记记录下来,目标是对分布式存储这块有一个宏观的了解,了解目前分布式存储常见的系统,总结都以问答的形式进行。 1、什么是分布式存储 通过大量普通的...
  • 常见的开源分布式存储系统

    千次阅读 2018-10-01 15:26:46
    1)Ceph底层存储是基于RADOS(可靠的、自动的分布式对象存储),它提供了LIBRADOS/RADOSGW/RBD/CEPHFS方式访问底层的存储系统,如下图所示 2)通过FUSE,Ceph支持类似的POSIX访问方式;Ceph分布式系统中最关键的MDS...
  • 分布式存储

    2018-05-27 00:41:09
    与目前常见的集中式存储技术不同,分布式存储技术并不是将数据存储在某个或多个特定的节点上,而是通过网络使用企业中的每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散的存储在企业...
  • 关于分布式存储

    千次阅读 2016-08-11 22:30:47
    分布式存储存在的风险,其实就是因为“共享”、“大数据量”、“高性能”和X86服务器+廉价的磁盘为载体之间的矛盾所产生的,不是有些读者说的“数据架构”的问题。其实任何存储都存在这个问题,只是分布式存储更严重...
  • 分布式存储系统

    2017-06-05 14:18:05
    大规模分布式存储系统的重要目标就是节省成本
  • 我们就需要引入分布式存储分布式存储有以下特性: 增强可用性:如果数据库的某个节点出现故障,在其他节点的数据仍然可用; 维护方便:如果数据库的某个节点出现故障,需要修复数据,只修复该节点即可; 均衡I/...
  • 分布式存储基础知识

    万次阅读 2018-11-11 20:47:42
    分布式存储的数据类型有以下三类: 非结构化的数据:主要是数据之间的关联系不大,像文本图片之类的数据 结构化的数据:数据之间关联系很大,关系型数据库这种,可以用表进行表示的 半结构化的数据:介于上述两种...
  • (一)分布式存储综述

    万次阅读 多人点赞 2017-03-17 20:30:02
    这篇博客主要来总结一下分布式存储系统的历史,发展以及特性,从而对分布式存储系统有一个大概的了解,主要从一下几个部分来介绍分布式存储分布式存储概念 分布式文件系统的发展 分布式存储系统的分类 分布式存储...
  • 分布式存储技术

    2013-05-01 00:21:47
    与目前常见的集中式存储技术不同,分布式存储技术并不是将数据存储在某个或多个特定的节点上,而是通过网络使用企业中的每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散的存储在企业...
  • 分布式技术原理(八):分布式存储

    千次阅读 多人点赞 2020-05-25 22:46:00
    分布式存储 分布式系统设计原则 CAP准则 CAP策略选择 分布式存储系统三要素 三要素含义 主流分布式数据存储系统 数据分布及原则 数据分布设计原则 常见数据分布方法 分布式数据复制(副本) 同步复制 异步...
  • 分布式存储综述、存储原理与设计

    千次阅读 2019-07-04 16:13:53
    目录 分布式存储概念 分布式文件系统的发展 分布式存储系统的分类 ...这篇博客主要来总结一下分布式存储系统的历史,发展以及特性,从而对分布式存储系统有一个大概的了解,主要从一下几个部分来介绍分布式存储...
  • 区块链分布式存储

    千次阅读 2019-02-16 12:12:35
    区块链分布式存储 https://blog.csdn.net/weixin_44172023/article/details/87072804 想知道更多区块链技术知识,请百度【链客区块链技术问答社区】 链客,有问必答!! BAT垄断了互联网创业道路,DAPP成为创投...
  • 而,分布式存储系统就是其具体实现。 分布式存储系统的核心,是将用户需要存储的数据根据某种规则存储到不同的机器上,当用户想要获取指定数据时,再按照规则到存储数据的机器里获取。 当用户(即应用程序)想要...
  • 来源 |清平の乐来源 | CSDN博客,责编 | Carol头图 | CSDN 下载自视觉中国一、数据存储类型一般情况下,我们将存储分成了4种类型,基于本机的DAS和网络的NAS存储、...
  • 常见分布式存储系统有分布式文件系统、分布式key-value系统和分布式数据库。分布式文件系统就是在分布式环境中由多个节点组成的功能与单机文件系统一样的文件系统,它是弱格式的,内容的格式需要使用者自己组织。...
  • 分布式存储比较

    千次阅读 2018-02-06 11:37:59
    一、概述 ... iSCSI, FoE存储网络块),Openfiler、FreeNas(ZFS快照复制)由于生产环境中往往由于对存储数据量很大,而SAN存储价格又比较昂贵,因此大多会选择分布式 存储来解决一下问题:
  • 面试中如何考察分布式存储 广义的分布式存储根据不同的应用领域,划分为以下的类别: 分布式协同系统 分布式文件系统 分布式任务调度框架 分布式 NoSQL 存储 分布式关系数据库 各种消息队列 MQ 流式...
  • 分布式存储要点分析引言1 宏观架构2 监控中心2.1 Pull状态2.2 Observe状态2.3 Work状态2.3.1 节点竞选2.3.2 写数据流程2.3.3 数据修复2.3.4 节点替换3 虚拟节点3.1 数据写入3.2 数据迁移3.3 扩展节点3.4 收缩节点4 ...
  • 我们继续互联网技术架构-分布式存储。 总目录: 分布式存储概述 分布式存储特性 - 哈希分布/一致性哈希分布 分布式存储协议 - 两阶段与Paxos
  • 对公司内部使用的文件系统进行了梳理,当前公司内部使用的文件系统有GlusterFS,FastDFS等,由于文件系统在海量小文件和高并发之下性能急剧下降,性能遭遇瓶颈,因此打算建设分布式对象存储平台。下面对市面上比较...
  • 分布式存储系统概述

    千次阅读 2015-03-18 20:31:30
    云计算、大数据,这些热点词汇,后台的基础设施离开不了分布式存储系统,它的两个特点,一是规模大,二是成本低。其实分布式系统的设计是根据需求来变化的,那么我们接下来就看,我们需要存储哪些数据,以及,分布式...
  • 分布式存储系统 知识体系
  • 常见分布式系统

    2020-09-22 11:47:04
    目录1、分布式存储系统1.1 中间控制节点架构1.2 完全无中心架构2、分布式计算系统2.1 Hadoop Map Reduce2.2 Spark2.3 Flink2.4 Hadoop & Spark & Flink 比较3、分布式消息队列系统4、分布式机器学习系统4.1 ...
  • ceph分布式存储简介

    2020-06-28 08:00:00
    点击关注上方“开源Linux”,后台回复“读书”,有我为您特别筛选书籍资料~Ceph简介什么是分布式存储?打个比方,我在一个环境当中,有很多很多的服务器,服务器上也有它自己很多的硬盘,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 168,246
精华内容 67,298
关键字:

常见的分布式存储