精华内容
下载资源
问答
  • 集中和分布式

    2020-03-28 21:56:25
    集中式架构就是将项目集中存储在中央服务器中,在工作的时候,大家只要自己电脑上操作,从同一个地方下载最新版本,然后开始工作,做完的工作再提交给中央服务器保存。这种方式需要联网,典型的例子就是SVN。 图1 ...

    集中式架构与分布式架构

    什么是集中式

    集中式架构就是将项目集中存储在中央服务器中,在工作的时候,大家只要自己电脑上操作,从同一个地方下载最新版本,然后开始工作,做完的工作再提交给中央服务器保存。这种方式需要联网,典型的例子就是SVN。

    img

    图1 集中式架构示意图

    缺点:

    1.如果网络出现问题或者网速慢的时候,直接影响工作效率。如果是中央服务器挂了,那就集体喝茶去了不用工作。

    2.还有一种情况,各自电脑中操作的所有软件工具,都存放在一个中央服务器上(现在流行叫云服务器),只需要用各自电脑登陆连接到云服务器上,(一般服务器都是用linux),比如用ps工具,大家其实用的是云服务器中的同一个ps 软件,在使用率高的情况下,ps会出现异常,当用ps筛选颜色的时候,已经混乱,无法正常选择颜色,这个情况是我在开发中遇到的。以前我们是每个人用各自安装的ps,但是在这样的环境下用的是同一个ps软件的时候就会bug。

    3.安全度不高,重要的东西都放在一个中央服务器中,如果被黑,那损失就大了。

    优点:

    1.减少了硬件和软件成本,硬件不用说了,现在流行盒子,一个小盒子只要连上中央服务器即可,以前都是一个个的主机箱,那成本大多了。如果用到工具软件需要收费,只需买一套正版就OK了。

    什么是分布式

    分布式架构:只要提供一台电脑作为版本集中存的服务器放就够了,但这个服务器的作用仅仅是用来方便“交换”大家的修改,没有它也一样干活,只是交换修改不方便而已。而每一台电脑有各自独立的开发环境,不需要联网,本地直接运行,相对集中式安全系数高很多。经典的列子就是GIT。

    img

    图2 分布式架构示意图

    核心要素对比

    以下是两种架构的核心要素的对比分析:

    img

    业务支撑能力比较

    客观讲,分布式架构在价格成本、自主研发、灵活兼容、伸缩扩展方面有比较显著的优势。互联网行业具有请求量大,数据量大的特点,业务上又可能在集中的时间段出现高于日常流量数倍的业务高峰,这些特征对架构的可扩展性提出了极高的要求。

    在集中式架构下,为了应对更高的性能,更大的数据量,往往只能向上升级到更高配置的机器,如升级更强的CPU,升级多核,升级内存,升级存储等,一般这种方式被称为Scale Up,但单机的性能永远都有瓶颈,随着业务量的增长,只能通过 Scale Out的方式来支持,即横向扩展出同样架构的服务器。在集中式架构下,由于单个服务器的造价昂贵,所以 Scale Out的方式成本非常高,无法做到按需扩展。而分布式架构的解决方案是基于廉价的PC Server 来做 Scale Out,,借助高速网络组建的PC集群在整体上提供的计算能力已大幅高于传统主机,并且成本很低,横向的扩展性还可带来系统良好的成长性。

    在分布式架构下,可支持按需扩展,唯一的要求是在设计上保持每个应用节点不保存状态信息。随着业务量从几百笔/秒到几万笔/秒级别时,需要更多的服务器来支撑,数据库单表的性能会成为瓶颈。数据量也会从GB迅速飙升到 TB、PB,单数据库实例的容量也会成为瓶颈。数据层会采用分库分表的策略来支持业务量的增长,具体策略根据业务场景可分为垂直拆分(按业务)、水平拆分(按请求/用户做哈希,或者做区间拆分)、读写拆分等。最后会通过统一分布式数据访问组件来屏蔽数据扩展的复杂性。下图简单描绘了服务器扩展性(应用层)和数据层可扩展(持久层)的形态:

    img

    图3 应用层和数据层弹性伸缩架构示意图

    随着业务的发展,应用和数据层弹性伸缩也会受限于到单个机房的电力、面积、散热等物理条件的制约而无法Scale Out,同城的机房个数也是有限的,所以势必要从机房层面支持弹性的可伸缩。蚂蚁的业务规模早在两年前就已突破这个规模,因此进行了机房单元化改造,其架构核心思想是把数据水平拆分的思路向上提升到接入层、终端层。从接入层开始,把原来部署在一个IDC 中的系统集群,进一步分成多个更细粒度的部署单元,从而达到机房级别的扩展。下面为这种架构的示意图:

    img

    图4 单元化架构示意图

    下表总结了两种架构模式在业务支撑的几个方面的比较:

    img

    总结

    说到这里,相信大家都明白了什么是分布式架构和集中式结构,还有它们的差异性,我们通过对集中式和分布式架构几个方面来比较,分布式架构在安全自主、灵活性、经济性、可伸缩性等方面有明显优势,随着当今社会系统需要处理的数据量越来越大,分布式架构在这方面的优势也会越来越明显。集中式系统在可一致性、维护性方面有优势,数据只有单一来源,不会出现数据的不一致性,而分布式系统需要达到同等或更高的可维护性与高一致性,需要通过先进的分布式中间件与大规模运维平台来支持。如何选择使用分布式架构和集中式架构,不是通过简单对比就能得出结论,还需要考虑自身的经济条件,使用场景。

    展开全文
  • 背景本文主要对杨传辉(日照)《大规模分布式存储系统原理解析与架构实战》、大话存储、网络资源(具体参考文末链接)及个人理解进行整理,意在构建出存储发展基本轨迹一些基本常识,让更多像我一样...


    背景

    本文主要对杨传辉(日照)《大规模分布式存储系统原理解析与架构实战》、大话存储、网络资源(具体参考文末链接)及个人理解进行整理,意在构建出存储发展基本轨迹和一些基本常识,让更多像我一样的初入者有个宏观上的认知。

     

    存储发展史

    从单机到互联网,存储作为的基础设施,主要发展都是围绕构建 低成本、高性能、可扩展、易用的目标进行演进,时至今日,在形态上存储分为单机存储、集中存储、分布式存储、云存储、云原生存储

    各阶段存储的基本形态如下

    各阶段基本形态

    存储数据分类 & 模型

    无论单机存储、分布式存储、云存储都是基于特定应用场景下,对指定数据类型构建对应的存储数据模型

    数据分类

    数据模型

    存储类型

    常见三种存储类型:块存储、文件存储、对象存储

    块存储

    基于Block块的存储模式,两种常见存储方式:

    • DAS(Direct Attch Storage), 直连主机存储方式

    • SAN (Storage Area Netowrk),高速网络链接主机存储方式

    文件存储

    依附网络提供文件存储服务

    对象存储

    构建于键值存储,核心是将数据通路(data)和控制通路(meta)分离,并且基于对象存储设备(Object-based Storage Device,OSD)构建存储系统,对外以RSETful API形式服务

    单机存储

    基本概念

    单机存储系统是单机存储引擎(数据结构在机械磁盘、SSD等持久化介质上的实现)的一种封装,对外提供文件、键值、表格或者关系模型的存储服务。

     

    存储引擎

    存储引擎是存储系统的发动机,决定了存储系统能够提供的功能和性能, 提供功能包含:

    • 增加(Create)

    • 读取(Retrieve),随机读取和顺序扫描

    • 更新(Update)

    • 删除(Delete)

    引擎间差异如下:

    集中式存储

    基本概念

    集中式存储相对与单机存储而言,存储系统中包含了更多组件,除了机头(控制器)、磁盘阵列(JBOD)和交换机等设备外,还有管理设备等辅助设备。

    参考:集中式存储的基本逻辑示意图

    系统构成

    • 机头,整个存储系统的核心部件,通常由控制器、前后端口组成,

    • 控制器,通常有二,实现互备高可用,控制器中的软件实现对磁盘的管理,将磁盘抽象化为存储资源池,然后划分为LUN提供给服务器使用。

    • 前后端口,前端端口用户为服务器提供存储服务,后端端口用于扩充存储系统的容量(连接更多的存储设备)

    • 磁盘柜(Just a Bound Of Disk , JBOD),磁盘挂在服务器外的专用柜里,有独立电源、散热、接口等,内部线缆相连(SCSI),对机头后端端口统一挂载

     

    分布式存储

    基本概念

    分布式存储系统,是将分散独立的存储设备通过网络互联,系统关联,对外作为一个整体提供存储服务。

    系统分类

    • 分布式文件系统

    • 分布式键值系统

    • 分布式表格系统

    • 分布式数据库

    设计原则

    • 参考CAP

    云存储

    基本概念

    云存储,是一种云计算领域存储服务方式,底层构建在分布式存储基础之上,上层通过Internet形式提供存储服务,除具备分布式存储基础特性外,更兼具灵活性,通常由云厂商提供

    参考产品

    云原生存储

    基本概念

    云原生存储脱胎于云存储,除具备云存储的特性外、须满足具备云原生生态系统中其他所有组件具备相同的动态(公共云/专有云/混合云等场景)构建可扩展应用、S3 API 驱动、K8S友好等

    参考示例

    Rook

    CNCF首个云原生存储项目Rook,是将文件、数据块和对象存储系统引入到Kubernetes集群,与其他正在使用存储的应用程序和服务一起无缝运行。通过这种方式,云原生集群可以在公有云和本地部署中自给自足并且具备可移植性。该项目的开发目的是使企业能够通过动态应用编排,为在本地和公有云环境中运行的分布式存储系统实现数据中心现代化。

    Rook Architecure

    Ceph Rook integrates with Kubernetes

    MinIO

    MinIO是一款高性能、软件定义的,对象存储套件,帮助客户构建云原生数据基础设施。可与 Kubernetes 集成,允许操作员使用 Kubernetes 界面管理存储,而 Kubernetes 可以处理从存储提供到卷放置的所有事务。

    推荐阅读:

    不是你需要中台,而是一名合格的架构师(附各大厂中台建设PPT)

    66页PPT腾讯数据湖技术分享

    千万QPS毫秒响应:快手数据中台建设实践

    阿里彻底去中台了,你真以为中台不行了?

    网易架构师朱剑锋:网易中台的博弈与演进

    网易严选数据中台建设之道

    小米中台架构分享,小米市值2690亿是因为这群可爱的人

    【中台实践】华为大数据中台架构分享.pdf

    【中台实践】滴滴大数据研发中台的最佳实践.pdf(附下载链接)

    滴滴业务中台构建实践

    展开全文
  • 分布式存储和集中式存储的优缺点及选择 ... 大数据时代,数据处理需求急剧增长,SAN存储或NAS存储等传统方式已经不适应业务发展需要...那么集中存储和分布式存储的有缺点分别有哪些呢?在面对二者时我...

    分布式存储和集中式存储的优缺点及选择

    转自中国存储,原文链接:http://www.chinastor.org/SANCunChuQuYuWangLuo/1922.html

    大数据时代,数据处理需求急剧增长,SAN存储或NAS存储等传统方式已经不适应业务发展需要,集中式存储再次活跃。那么集中式存储和分布式存储的有缺点分别有哪些呢?在面对二者时我们该如何选择呢?

      今天,全球数据存储量呈现爆炸式增长,企业及互联网数据以每年50%的速率在增长,据Gartner预测,到2020年,全球数据量将达到35ZB,等于80亿块4TB硬盘。数据结构变化给存储系统带来新的挑战。非结构化数据在存储系统中所占据比例已接近80%。

      互联网的发展使得数据创造的主体由企业逐渐转向个人用户,而个人所产生的绝大部分数据均为图片、文档、视频等非结构化数据;企业办公流程更多通过网络实现,表单、票据等都实现了以非结构化为主的数字化存档;同时,基于数据库应用的结构化数据仍然在企业中占据重要地位,存储大量的核心信息。

      数据业务的急剧增加,传统单一的SAN存储或NAS存储方式已经不适应业务发展需要。SAN存储:成本高,不适合PB级大规模存储系统。数据共享性不好,无法支持多用户文件共享。NAS存储:共享网络带宽,并发性能差。随系统扩展,性能会进一步下降。因此,集中式存储再次活跃。

      那么集中式存储和分布式存储的有缺点分别有哪些呢?在面对二者时我们该如何选择呢?下面我将为大家介绍和分析集中式存储和分布式存储的不同之处以及在应用中我们应做的选择。

      分布式和集中式存储的选择

      集中存储的优缺点是,物理介质集中布放;视频流上传到中心对机房环境要求高,要求机房空间大,承重、空调等都是需要考虑的问题。

      分布存储,集中管理的优缺点是,物理介质分布到不同的地理位置;视频流就近上传,对骨干网带宽没有什么要求;可采用多套低端的小容量的存储设备分布部署,设备价格和维护成本较低;小容量设备分布部署,对机房环境要求低。

    posted @ 2017-04-21 09:46 酸奶加绿茶 阅读(...) 评论(...) 编辑 收藏
    展开全文
  • 点击上方“朱小厮的博客”,选择“设为星标”后台回复"书",获取后台回复“k8s”,可领取k8s资料背景本文主要对杨传辉(日照)《大规模分布式存储系统原理解析与架构实战》、大...

    点击上方“朱小厮的博客”,选择“设为星标”

    后台回复"",获取

    后台回复“k8s”,可领取k8s资料

    背景

    本文主要对杨传辉(日照)《大规模分布式存储系统原理解析与架构实战》、大话存储、网络资源(具体参考文末链接)及个人理解进行整理,意在构建出存储发展基本轨迹和一些基本常识,让更多像我一样的初入者有个宏观上的认知。

     

    存储发展史

    从单机到互联网,存储作为的基础设施,主要发展都是围绕构建 低成本、高性能、可扩展、易用的目标进行演进,时至今日,在形态上存储分为单机存储、集中存储、分布式存储、云存储、云原生存储

    各阶段存储的基本形态如下

    各阶段基本形态

    存储数据分类 & 模型

    无论单机存储、分布式存储、云存储都是基于特定应用场景下,对指定数据类型构建对应的存储数据模型

    数据分类

    数据模型

    存储类型

    常见三种存储类型:块存储、文件存储、对象存储

    块存储

    基于Block块的存储模式,两种常见存储方式:

    • DAS(Direct Attch Storage), 直连主机存储方式

    • SAN (Storage Area Netowrk),高速网络链接主机存储方式

    文件存储

    依附网络提供文件存储服务

    对象存储

    构建于键值存储,核心是将数据通路(data)和控制通路(meta)分离,并且基于对象存储设备(Object-based Storage Device,OSD)构建存储系统,对外以RSETful API形式服务

    单机存储

    基本概念

    单机存储系统是单机存储引擎(数据结构在机械磁盘、SSD等持久化介质上的实现)的一种封装,对外提供文件、键值、表格或者关系模型的存储服务。

     

    存储引擎

    存储引擎是存储系统的发动机,决定了存储系统能够提供的功能和性能, 提供功能包含:

    • 增加(Create)

    • 读取(Retrieve),随机读取和顺序扫描

    • 更新(Update)

    • 删除(Delete)

    引擎间差异如下:

    集中式存储

    基本概念

    集中式存储相对与单机存储而言,存储系统中包含了更多组件,除了机头(控制器)、磁盘阵列(JBOD)和交换机等设备外,还有管理设备等辅助设备。

    参考:集中式存储的基本逻辑示意图

    系统构成

    • 机头,整个存储系统的核心部件,通常由控制器、前后端口组成,

    • 控制器,通常有二,实现互备高可用,控制器中的软件实现对磁盘的管理,将磁盘抽象化为存储资源池,然后划分为LUN提供给服务器使用。

    • 前后端口,前端端口用户为服务器提供存储服务,后端端口用于扩充存储系统的容量(连接更多的存储设备)

    • 磁盘柜(Just a Bound Of Disk , JBOD),磁盘挂在服务器外的专用柜里,有独立电源、散热、接口等,内部线缆相连(SCSI),对机头后端端口统一挂载

     

    分布式存储

    基本概念

    分布式存储系统,是将分散独立的存储设备通过网络互联,系统关联,对外作为一个整体提供存储服务。

    系统分类

    • 分布式文件系统

    • 分布式键值系统

    • 分布式表格系统

    • 分布式数据库

    设计原则

    • 参考CAP

    云存储

    基本概念

    云存储,是一种云计算领域存储服务方式,底层构建在分布式存储基础之上,上层通过Internet形式提供存储服务,除具备分布式存储基础特性外,更兼具灵活性,通常由云厂商提供

    参考产品

    云原生存储

    基本概念

    云原生存储脱胎于云存储,除具备云存储的特性外、须满足具备云原生生态系统中其他所有组件具备相同的动态(公共云/专有云/混合云等场景)构建可扩展应用、S3 API 驱动、K8S友好等

    参考示例

    Rook

    CNCF首个云原生存储项目Rook,是将文件、数据块和对象存储系统引入到Kubernetes集群,与其他正在使用存储的应用程序和服务一起无缝运行。通过这种方式,云原生集群可以在公有云和本地部署中自给自足并且具备可移植性。该项目的开发目的是使企业能够通过动态应用编排,为在本地和公有云环境中运行的分布式存储系统实现数据中心现代化。

    Rook Architecure

    Ceph Rook integrates with Kubernetes

    MinIO

    MinIO是一款高性能、软件定义的,对象存储套件,帮助客户构建云原生数据基础设施。可与 Kubernetes 集成,允许操作员使用 Kubernetes 界面管理存储,而 Kubernetes 可以处理从存储提供到卷放置的所有事务。

    想知道更多?描下面的二维码关注我

    后台回复"技术",加入技术群

    后台回复“k8s”,可领取k8s资料

    【精彩推荐】

    点个赞+在看,少个 bug ????

    展开全文
  • 本文主要对杨传辉(日照)《大规模分布式存储系统原理解析与架构实战》、大话存储、网络资源(具体参考文末链接)及个人理解进行整理,意在构建出存储发展基本轨迹一些基本常识,让更多像我一样的初入者有个宏观上的...
  • 分布式存储

    2018-04-08 14:29:00
    1,分布式存储概念 ...传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统...
  • http://blog.csdn.net/anzhsoft 今天我们部门的老大1*1, 大家面对面沟通了一下到新的项目组的想法。而且也将我对传统商业存储在当前大数据云计算发展如火如荼的背景下,如何...那时候将所有的硬盘集中的放到...
  • 集中式系统,是由一台或多台主计算机组成的中心节点,数据集中存储于这个中心节点中,并且整个系统的所有业务单元都集中部署在这个中心节点上,系统的所有功能均由其集中处理。也就是说,在集中式系统中,每个终端或...
  • spring cloud 入门系列七:基于Git存储分布式配置中心--Spring Cloud Config 我们前面接触到的spring cloud...它用来为分布式系统中的基础设施微服务提供集中化的外部配置支持,分为服务端客户端两个部分。...
  • 集中式与分布式全方位优劣对比(转) 一. 应用现状比较 ...集中式架构的典型案例是 IOE(IBM、Oracle、EMC) 提供的计算设备、数据库技术和存储设备共同组成的系统. 近年来,分布式架构在 Google、Amazon、Fa...
  • 所谓的集中式系统就是由一台或多台主计算机组成的中心节点,数据集中存储于这个中心节点中,并且整个系统的所有业务单元都集中部署在这个中心节点上,系统的所有功能均由其集中处理。也就是说,在集中式系统中,每个...
  • 分布式存储FastDFS介绍

    千次阅读 2020-08-04 09:06:39
    传统的网络存储系统采用集中存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性安全性的焦点,不能满足大规模存储应用的需要。 分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器...
  • 集中式、分布式、集群 互联网架构最大的特点: 高并发:单位时间收到的请求数量 海量数据:海量数据存储与分析 集中式系统 集中式系统用一句话概括就是:一个主机带多个终端。终端没有数据处理能力,仅...
  • 分布式数据存储

    2021-04-17 18:31:43
    分布式系统相对应的概念是集中式系统,集中式系统是指由一台主机若干终端组成的系统主机是这个系统的中心节点,一般具有较好的性能运算能力。主机提供系统对外的一切功能。系统中所有的数据均存储在主机中,...
  • 集中存储的优缺点是,物理介质集中布放;视频流上传到中心对机房环境要求高,要求机房空间大,承重、空调等都是需要考虑的问题。 分布存储,集中管理的优缺点是,物理介质分布到不同的地理位置;视频流就近上传,对...
  • 存储技术(三)-分布式存储 原创大胖随笔5566大胖随笔55667月19日(本人微信号文章) 一、分布式存储架构 1.1 集中式元数据架构(2000s) 1.2 去中心化架构(2010s) 1.3 集中式vs分布式 1.4 新的架构? 二...
  • 分布式和集中式架构

    2019-10-01 20:18:36
     所谓集中式系统就是指由一台或多台主计算机组成中心节点,数据集中存储在这个中心节点中,并且整个系统的所有业务单元都集中部署在这个中心节点上,系统所有功能均有其集中处理。在集中式系统中,每个终端或客户端...
  • 释了分布式数据存储技术的进步市场激励的强大结合,正合力形成一个更安全、更高效的网络。 在不到三十年的时间里,互联网已成为人类历史上最伟大的成就之一,因为以前在科学、技术商业领域从未出现过如此看得见...
  • 互联网信息的存储之前一直是集中存储,在HTTP传输协议之下,数据是被集中的储存在服务器上的。这种简单的中心化存储传输方式,将发布信息的成本降到了最低,但同时也在可分布性和可持久性方面造成了缺失。随着数据...
  • 应用现状比较 由于历史原因,集中式架构多用于传统银行、...集中式架构的典型案例是 IOE(IBM、 Oracle、EMC)提供的计算设备、数据库技术和存储设备共同组成的系统。 近年来,分布式架构在 Google、Amazon、Facebo...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,814
精华内容 725
关键字:

集中存储和分布式存储