精华内容
下载资源
问答
  • 计算机存储系统之磁盘阵列技术

    千次阅读 多人点赞 2020-08-24 16:31:32
    目录 什么是磁盘列阵技术? 不同等级的RAID技术对照 Hello!你好呀,我是灰小猿,一个超会写代码的程序猿!...虽然RAID包含多块磁盘,但是在操作系统下是作为一个独立的大型存储设备出现的, 不同等级的RA..

    目录

    什么是磁盘阵列技术?

    不同等级的RAID技术对照


    Hello!你好呀,我是灰小猿,一个超会写代码的程序猿!

    最近在进行计算机系统的学习时,有用到磁盘列阵技术,所以今天在这里记录一下,

     

    什么是磁盘阵列技术?

    所谓磁盘阵列,它是由多台磁盘存储器组成,是快速、大容量、且高可靠的外存子系统,现在常见的独立冗余磁盘列阵(RAID)就是一种由多块独立磁盘构成的冗余列阵,

    这里需要注意的是:

    虽然RAID包含多块磁盘,但是在操作系统下是作为一个独立的大型存储设备出现的,

     

    不同等级的RAID技术对照

    截至目前,RAID技术可以分为以下几种不同的等级,分别可以提供不同速度,安全性和性价比。不同等级的RAID说明如下表所示:

    RAID级别

    说明

    RAID-0

    RAID-0是一种不具备容错能力的磁盘列阵,由N个磁盘存储器组成的0级列阵,其平均故障时间间隔(MTBF)是单个磁盘存储器的N分之一,但数据传输率是单个磁盘存储器的N倍

    RAID-1

    RAID-1是采用镜像容错技术改善可靠性的一种磁盘列阵

    RAID-2

    RAID-2是采用海明码进行错误检测的一种磁盘列阵

    RAID-3

    RAID-3减少了用于检验的磁盘存储器的个数,从而提高了磁盘列阵的有效容量,一般只有一个检验盘,

    RAID-4

    RAID-4是一种可以独立的对组内各磁盘进行读/写的磁盘列阵,该列阵也只用一个检验盘

    RAID-5

    RAID-5是RAID-4的一种改进,它不设置专门的检验盘,同一个磁盘上既记录数据,又记录检验信息。这就解决了前面多个磁盘机争用一个磁盘的问题

    RAID-6

    RAID-6磁盘列阵采用两级数据冗余和新的数据编码以解决数据恢复问题,使在两个磁盘出现故障时仍能够正常工作,在进行写操作时,RAID-6分别进行两个独立的校验运算,形成两个独立的冗余数据,写入两个不同的磁盘

     

    觉得不错记得点赞关注哟!

    大灰狼陪你一起进步!
     

    展开全文
  • 分布式存储系统 数据备份

    千次阅读 2015-12-02 10:57:06
    为了保证分布式存储系统的高可靠和高可用,数据在系统中一般存储多个副本。当某个存储节点出故障时,系统能够自动将服务切换到其他的副本,从而实现自动容错。

    为了保证分布式存储系统的高可靠和高可用,数据在系统中一般存储多个副本。当某个存储节点出故障时,系统能够自动将服务切换到其他的副本,从而实现自动容错。

    分布式存储系统通过复制协议将数据同步到多个存储节点,并确保多个副本之间的数据一致性。同一份数据有多个副本,仅有一个为主副本 Primary,其他的副本为备份副本 Backup,数据从主副本复制到备份副本。

    复制协议分为两种:强同步复制及异步复制,两者区别如字面意思,即用户的写请求是否需要同步到备份副本才算成功。假如备份副本不止一个,复制协议还会要求写请求至少需要同步到几个备份副本。

    Created with Raphaël 2.1.0 客户端 客户端 主副本 主副本 备份副本 备份副本 发送数据写请求 同步请求给备份副本 数据写请求 数据写完毕 数据写完成
    • 实现强同步协议时,主副本可以将操作日志并发发给所有备份副本并且等待回复,只要至少1个备份副本返回成功就可以回复客户端操作成功。请同步的好处在于如果主副本出现故障,分布式存储系统可以自动将服务切换到最新的备份的副本而不用担心数据丢失的情况。
    • 异步模式下,主副本不需要等待备份副本的回应,只需要本地修改成功就可以告知客户端修改告知客户端写操作成功。好处在于系统可用性好,但是一致性较差,如果主副本发生不可恢复的故障,可能丢失最后一部分更新操作。
    Created with Raphaël 2.1.0 客户端A 客户端A 主副本 主副本 备份副本A 备份副本A 备份副本B 备份副本B 1. 发送数据写请求 同步请求给所有备份副本 2. 数据写请求 2. 数据写请求 3. 数据写完毕 4. 数据写完成 3. 数据写完毕

    基于主副本的复制协议(Primary-based protocol)要求在任何时刻只能有一个副本为主副本,由它来确定写操作之间的顺序。如果主副本出现故障,需要选举一个备份副本成为新的主副本,这步操作称之为选举,经典的选举协议为 Paxos 协议。

    展开全文
  • 新创公司SimpliVity推出一款在单一2U机箱中整合服务器、储存与连网的 OmniCube 系统。这款 OmniCube 系统采用VMware虚拟化软体提供可堆叠的系统,而无需传统丛集服务器所用的复杂分布式档案系统。  该系统在企业...
  • 虚拟存储实现思路在实际运行过程,把有关作业的全部信息都装入主存储器后,作业执行时实际上不是同时使用全部信息的,有些部分运行一遍便再也不用,甚至有些部分在作业执行的整个过程中都不会被使用到(如错误处理部分...

    虚拟存储实现思路

    在实际运行过程,把有关作业的全部信息都装入主存储器后,作业执行时实际上不是同时使用全部信息的,有些部分运行一遍便再也不用,甚至有些部分在作业执行的整个过程中都不会被使用到(如错误处理部分)。进程在运行时不用的,或暂时不用的,或某种条件下才用的程序和数据,全部驻留于内存中是对宝贵的主存资源的一种浪费,大大降低了主存利用率。
    于是,提出了这样的问题:作业提交时,先全部进入辅助存储器,作业投入运行时,能否不把作业的全部信息同时装入主存储器,而是将其中当前使用部分先装入主存储器,其余暂时不用的部分先存放在作为主存扩充的辅助存储器中,待用到这些信息时,再由系统自动把它们装入到主存储器中,这就是虚拟存储器的基本思路。

    虚拟存储器定义

    具有部分装入和部分对换功能,能从逻辑上对内存容量进行大幅度扩充,使用方便的一种存储器系统。
    虚拟存储器是基于程序局部性原理上的一种假想的而不是物理存在的存储器,允许用户程序以逻辑地址来寻址,而不必考虑物理上可获得的内存大小,这种将物理空间和逻辑空间分开编址但又统一管理和使用的技术为用户编程提供了极大方便。此时,用户作业空间称虚拟地址空间,其中的地址称虚地址

    分页式虚拟存储系统

    基本原理

    分页式虚拟存储系统是将作业信息的副本存放在磁盘这一类辅助存储器中,当作业被调度投入运行时,并不把作业的程序和数据全部装入主存,而仅仅装入立即使用的那些页面,至少要将作业的第一页信息装入主存,在执行过程中访问到不在主存的页面时,再把它们动态地装入。用得较多的分页式虚拟存储管理是请页式(demand Paging),当需要执行某条指令或使用某个数据,而发现它们并不在主存时,产生一个缺页中断,系统从辅存中把该指令或数据所在的页面调入内存。
    请页式虚拟存储在执行过程中,必然会发生某些页面不在内存中的情况,针对这种情况,处理方法是扩充页表的内容,增加驻留标志位和页面辅存的地址等信息,扩充后的页表如下所示:
    这里写图片描述

    • 驻留标志位(又称中断位)用来指出对应页是否已经装入主存,如果某页所对应栏的驻留标志位为1,则表示该页已经在主存;若驻留标志位为 0,此时产生一个缺页中断信号,可以根据辅存地址知道该页在辅助存储器中的位址,将这个页面调入主存。
      在作业执行中访问某页时,硬件的地址转换机构查页表:
      1. 若该页对应驻留标志为1,则按分页实存管理给出的办法进行地址转换,得到绝对地址。
      2. 若该页驻留标志为0,则由硬件发出一个缺页中断,表示该页不在主存。操作系统必须处理这个缺页中断针对缺页中断的具体处理方法是先查看主存是否有空闲块,若有则按该页在辅助存储器中的地址将这个页面找出且装入主存,在页表中填上它占用的块号且修改标志位。若主存已没有空闲块,则必须先淘汰已在主存中的某一页,再将所需的页面装入,对页表和主存分配表作相应的修改
    • 为了提高系统效率,可在页表中增加标志位,其它标志包括修改位(Modified )、引用 位( Renferenced )、禁止缓存位和访问位,用来跟踪页的使用情况。当一个页被修改后,硬件自动设置修改位,一旦修改位被设置,当该页被调出主存时必须重新被写回辅存;若一页在执行过程中没有被修改过,那么不必重新写回到存储器中。引用位则在该页被引用时设置,无论是读或写,它的值被用来帮助操作系统进行页面淘汰。禁止缓存位可以禁止该页被缓存,这一特性对于那些正在与外设进行数据交换的页面时非常重要。访问位则限定了该页允许什么样的访问权限如可读、可写和可执

    页面装入策略

     请页式调度

    请页式调度是仅当需要访问程序和数据时,才把所在页面装入主存。那么当某个进程第一次执行时,开始会有许多缺页中断,随着越来越多的页面装入主存,根据局部性原理,大多数未来访问的程序和数据都在最近被装入主存的页面中,一段时间之后,缺页中断就会下降到很低的水平,程序进入相对平稳阶段。这种策略的主要缺点是处理缺页中断和调页的系统开销较大,由于每次仅调一页 ,增加了磁盘 I/O 次数。

    预调式调度

    预调式调度由操作系统预测进程将要使用的那些页面,在使用入之前预先调入主存,每次调入若干个页面,而不是像请页式那样仅调一个页面。由于进程的页面大多数连续存放在辅存储中器,一次调入多个页面能减少磁盘I/O启动次数,节省了寻道和搜索时间。但是如果调入的一批页面中多数未被使用,则效率就很低了,可见预调页要建立在预测的基础上,目前所用预调页的成功率在 50%左右。

    页面清除策略

    清除策略是与装入策略相对的,它要考虑何时把一个修改过的页面写回辅存储器。

    请页式清除

    请页式清除是仅当一页选中被替换,且之前它又被修改过,才把这个页面写回辅助存储器

    预清除

    预清除方法对更改过的页面,在需要之前就把它们都放回辅助存储器,因此可以成批进行。

    页面分配策略

    分页式虚拟存储系统排除了主存储器实际容量的约束,能使更多的作业同时多道运行,从而提高了系统的效率,但缺页中断的处理要付出相当的代价,由于页面的调入、调出要增加I/O的负担而且影响系统效率,因此应尽可能的减少缺页中断的次数
    在请页式系统中,可采用两种策略分配页框给进程:固定分配和可变分配

    固定分配

    如果进程生命周期中,保持页框数固定不变,称页面分配为固定分配;通常在进程创建时,根据进程类型和程序员的要求决定页框数,只要有一个缺页中断产生,进程就会有一页被替换。

    可变分配

    如果进程生命周期中,分得的页框数可变,称页面分配为可变分配;当进程执行的某一阶段缺页率较高,说明进程程序目前的局部性较差,系统可多分些页框以降低缺页率,反之说明进程程序目前的局部性较好,可以减少分给进程的页框数。

    对比

    固定分配策略缺少灵活性,而可变分配的性能会更好些,被许多操作系统所采用。采用可变分配策略的困难在于操作系统要经常监视活动进程的行为和进程缺页中断率的情况,这会增加操作系统的开销。

    页面替换策略

    实现虚拟存储器能给用户提供一个容量很大的存储器,但当主存空间已装满而又要装入新页时,必须按一定的算法把已在主存的一些页调出去,这个工作称页面替换

    如果页面替换算法的作用范围是整个系统,称为全局页面替换算法,它可以在可运行进程之间动态地分配页框。如果页面替换算法的作用范围局限于本进程,称为局部页面替换算法,它实际上需要为每个进程分配固定的页框。

    淘汰算法

    用来确定应该淘汰哪页的算法,称淘汰算法。

    算法的选择是很重要的,选用了一个不适合的算法,就会出现这样的现象:
    刚被淘汰的页面又立即要用,因而又要把它调入,而调入不久再被淘汰,淘汰不久再被调入。如此反复 ,使得整个系统的页面调度非常频繁以至于大部时间都化在来回调度页面上。这种现象叫做 “抖动”(Thrashing),又称“颠簸”,一个好的调度算法应减少和避免抖动现象。

    缺页中断率

    假定作业 p 共计n页,而系统分配给它的主存块只有 m 块(m,n均为正整数,且1≤m≤n),即最多主存中只能容纳该作业的m页。如果作业p在运行中成功的访问次数为s(即所访问的页在主存中), 不成功的访问次数为F(即缺页中断次数),则总的访问次数A为:
    A = S + F
    又定义:
    f = F / A
    则称 f 为缺页中断率。影响缺页中断率 f 的因素有:
    1. 主存页框数。作业分得的主存块数多,则缺页中断率就低,反之,缺页中断率就高。
    2. 页面大小。如果划分的页面大,则缺页中断率就低,否则缺页中断率就高
    3. 页面替换算法。
    4. 程序特性。程序编制的方法不同,对缺页中断的次数有很大影响,程序的局部性要好

    页面替换算法

    一个理想的替换算法是:当要调入一页而必须淘汰一个旧页时,所淘汰的页应该是以后不再访问的页或距现在最长时间后再访问的页。这样的调度算法使缺页中断率为最低。然而这样的算法是无法实现的因为在程序运行中无法对以后要使用的页面作出精确的断言。不过,这个理论上的算法可以用来作为衡量各种具体算法的标准。

    下面介绍几种实用的页面调度算法:

    随机页面替换算法

    要淘汰的页面是由一个随机数产生程序所产生的随机数来确定,选择一个不常使用的页面会使系统性能较好,但这种调度算法做不到这一点,虽很简单但效率却低,一般不采用。

    先进先出页面替换算法( FIFO )

    先进先出调度算法是一种低开销的页面替换算法,基于程序总是按线性顺序来访问物理空间这一假设。这种算法总是淘汰最先调入主存的那一页,或者说在主存中驻留时间最长的那一页(常驻的除外)
    这种算法较易实现,但效率不高,因为在主存中驻留时间最长的页面未必是最长时间以后才使用的
    页面。也就是说,如果某一个页面要不断地和经常地被使用,采用FIFO算法,在一定的时间以后就会变成驻留时间最长的页,这时若把它淘汰了,可能立即又要用,必须重新调入

    最近最少用页面替换算法( LRU,least Recently used )

    最近最少用调度算法是一种通用的有效算法,被操作系统、数据库管理系统和专用文件系统广泛采用。该算法淘汰的页面是在最近一段时间里较久未被访问的那一页。它是根据程序执行时所具有的局部性来考虑的,即那些刚被使用过的页面,可能马上还要被使用,而那些在较长时间里未被使用的页面,一般说可能不会马上使用到。

    第二次机会页面替换算法

    FIFO 算法可能会把经常使用的页面淘汰掉,可以对 FIFO 算法进行改进,把FIFO算法与页表中的”引用位”结合起来使用,算法可实现如下:
    首先检查FIFO中的队首页面(这是最早进入主存的页面),如果它的”引用位”是0,那么这个页面既老又没有用,选择该页面淘汰;如果它的”引用位”是 1,说明虽然它进入主存较早,但最近仍在使用。于是把它的”引用位”清成0,并把这个页面移到队尾,把它看作是一个新调入的页。这一算法称为第二次机会(second chance)算法,其含义是最先进入主存的页面,如果最近还在被使用的话,仍然有机会作为像一个新调入页面一样留在主存中。

    时钟页面替换算法 (Clock Policy)

    如果利用标准队列机制构造FIFO队列,第二次机会页面调度算法将可能产生频繁地出队入队,实现代价较大。因此,往往采用循环队列机制构造页面队列,这样就形成了一个类似于钟表面的环形表,队列指针则相当于钟表面上的表针,指向要淘汰的页面,这就是时钟页面替换算法的得名
    算法的实现要点:
    1. 一个页面首次装入主存时,其”引用位”置 0。
    2. 在主存中的任何一个页面被访问时, 其”引用位”置 1。
    3. 淘汰页面时,存储管理从指针当前指向的页面开始扫描循环队列,把所迁到的”引用位”是 1 的页面的”引用位”清成 0,并跳过这个页面; 把所迁到的”引用位”是0的页面淘汰掉,指针推进一步。

    最不常用页面替换算法(LFU :Least Erequently used )

    如果对应每一页设置一个计数器,每当访问一页时,就使它对应的计数器加1。过一定时间 t 后 ,将所有计数器全部清0。当发生缺页中断时,可选择计数值最小的对应页面淘汰,显然它是在最近一段时间里最不常用的页面。这种算法实现不难,但代价太高而且选择多大的 t 最适宜也是个难题。

    下面是针对几个页面替换算法的效率对比图:
    这里写图片描述

    写时复制(copy-on-write)

    写时复制(copy-on-write)是存储管理用来节省物理内存(页框)的一种页面级优化技术,已被unix 和 Windows等许多操作系统所采用,它能减少主存页面内容的复制操作,减少相同内容页面在主存的副本数目。

    当两个进程(如父子进程)共享一个页面时,并不是立即为每个进程各建一个页面副本,而是把该页面定义为只读方式,让诸进程共享。当其中某个进程要修改页面内容执行写操作时,会产生一个”写时复制”中断,操作系统处理这个中断信号,为该进程分配一个空闲页框,复制页面的一个副本,且修改相应的页表项,当进程重新执行写页面操作时指令被顺利执行。

    下图是写时复制前的示意图
    这里写图片描述
    当进行写时复制操作时,示意图如下所示:
    这里写图片描述

    可见操作系统采用写时复制技术后,就可以延迟到修改时才对共享页面做出副本,从而.节省了大量页面复制操作和副本占用空间。

    展开全文
  • 分段式虚拟存储系统分段式虚拟存储系统把作业的所有分段的副本都存放在辅助存储器中,当作业被调度投入运行时,首先把当前需要的一段或几段装入主存,在执行过程中访问到不在主存的段时再把它们装入。因此,在段表中...

    分段式虚拟存储系统

    分段式虚拟存储系统把作业的所有分段的副本都存放在辅助存储器中,当作业被调度投入运行时,首先把当前需要的一段或几段装入主存,在执行过程中访问到不在主存的段时再把它们装入。因此,在段表中必须说明哪些段已在主存,存放在什么位置,段长是多少。哪些段不在主存,它们的副本在辅助存储器的位置。还可设置该是否被修改过,是否能移动,是否可扩充,能否共享等标志。格式如下图所示:
    这里写图片描述
    其中,
    * 特征位: 00(不在内存);01(在内存);11(共享段);
    * 存取权限: 00(可执行);01(可读);11(可写);
    * 扩充位: 0(固定长);1(可扩充);
    * 标志位: 00(未修改);01(已修改);11(不可移动);

    在作业执行中访问某段时,由硬件的地址转移机构查段表,若该段在主存,则按分段式存储管理中给出的办法进行地址转换得到绝对地址。若该段不在主存中,则硬件发出一个缺段中断。操作系统处理这个中断时,查找主存分配表,找出一个足够大的连续区域容纳该分段。如果找不到足够大的连续区域则检查空闲区的总和,若空闲区总和能满足该分段要求,那么进行适当移动后,将该分装入主存。若空闲区总和不能满足要求,则可调出一个或几个分段在辅助存储器上,再将该分段装入主存。
    具体处理流程如下图所示:
    这里写图片描述

    段页式虚拟存储管理

    段式存储是基于用户程序结构的存储管理技术,有利于模块化程序设计,便于段的扩充、动态链接 、共享和保护,但往往会生成段内碎片浪费存储空间;页式存储是基于系统存储器结构的存储管理技术,存储利用率高,便于系统管理,但不易实现存储共享、保护和动态扩充。如果把两者优点结合起来,在分页式存储管理的基础上实现分段式存储管理这就是段页式存储管理

    基本原理

    1. 虚地址以程序的逻辑结构划分成段,这是段页式存储管理的段式特征。
    2. 实地址划分成位置固定、大小相等的页框(块) ,这是段页式存储管理的页式特征
    3. 将每一段的线性地址空间划分成与页框大小相等的页面,于是形成了段页式存储管理的特征
    4. 逻辑地址形式为:段号(s)+段内页号(p)+页内位移(d)
      对于用户来说,段式虚拟地址应该由段号s和段内位移 d’组成,操作系统内部再自动把d’解释成两部分:

      1. 段内页号 p
      2. 页内位移 d
        也就是说,d’=p×块长+d
    5. 数据结构
      段页式存储管理的数据结构更为复杂,包括作业表、段表和页表三级结构。作业表中登记了进入系统中的所有作业及该作业段表的起始地址,段表中至少包含这个段是否在内存,以及该段页表的起始地址,页表中包含了该页是否在主存(中断位)、对应主存块号。

    6. 动态地址转换
      段页式存储管理的动态地址转换机构由、段表、页表和快表构成。当前运行作业的段表起始地址已被操作系统置入段表控制寄存器,其动态地址转换过程如下:从逻辑地址出发,先以段号 s 和页号p作索引去查快表,如果找到,那么立即获得页 p 的页框号 p’,并与位移 d 一起拼装得到访问主存的实地址,从而完成了地址转换。若查快表失败,就要通过段表和页表来作地址转换了,用段号s作索引,找到相应表目,由此得到 s 段的页表的起始地址 s’,再以 p 作索引得到s段p页对应的表目,由此得到页框号 p’;这时一方面把s段p页和页框号p’置换进快表,另一方面用p’和d生成主存的实地址,从而完成地址转换。
      具体示意图如下所示:
      这里写图片描述
    展开全文
  • 操作系统之存储管理

    千人学习 2018-05-24 09:23:03
    存储管理是操作系统的重要组成部分,能否合理有效地利用内存在很大程度上影响着整个计算机的性能。 本课程首先介绍存储管理的研究对象和目的,明确存储管理的基本功能和相关的基本概念;然后从实存和虚存两个角度,...
  • Android存储系统及存储的挂载 Android是基于Linux内核开发的,所以它的文件系统也是跟Linux文件系统类似。 首先我们来看Android存储的分类。 内部存储和外部存储、内置SD卡和外置SD卡 一般的Android手机都有2个存储...
  • 操作系统存储管理分段存储

    千次阅读 2017-04-23 14:57:56
    在分页存储管理中,经连结编辑处理得到了一维地址结构的可装配模块,这是从0开始编址的一个单一连续的逻辑地址空间,虽然操作系统可把程序划分成页面,但页面与源程序无逻辑关系,也就难以实现对源程序以模块为单位进行...
  • 单机存储系统

    千次阅读 2017-06-05 14:11:59
    单机存储系统是单机存储引擎的一种封装,对外提供文件、键值、表格或者关系模型,单机存储系统的理论来源于关系数据库。 哈希存储引擎是哈希表的持久化实现。 B树存储引擎是B树的持久化实现。 LSM树(Log structure ...
  • 存储系统管理

    2012-09-07 12:02:03
    在_AIX_上基于_IBM_Systems_Director_管理_IBM_DS4000_存储系统
  • 网络游戏-家庭网络系统及其储存事件的文件存储介质.zip
  • 开源分布式存储系统的对比

    万次阅读 多人点赞 2018-04-20 16:32:49
    我们在选型开源分布式存储系统框架之前需要对不同的框架进行调研。 所有的开源存储系统介绍链接 存储系统对比 目前比较热门的分布式文件系统有如下几种: Ceph,GlusterFS,Sheepdog,Lustre,Swift,Cinder,TFS,HDFS...
  • 分布式存储系统

    千次阅读 2017-05-23 15:36:13
    (一)分布式存储系统应该具备的能力; (二)阿里云分布式存储系统盘古的介绍; (三)分布式系统技术展望。 分布式存储系统应该具备的能力 大数据同生活息息相关,大量数据的出现对分布式存储提出了更高的...
  • 前面已经给大家讲了《从0到1搭建大数据平台数据采集系统》、《从0到1搭建大数据平台调度系统》,今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态...
  • 搭建ISCSI存储系统

    千次阅读 2019-07-21 11:00:10
    一、 NAS和SAN服务器的概述 ...网络附属存储基于标准网络协议(Tcp/IP)实现数据传输,为网络中的Windows / Linux / Mac OS 等各种不同操作系统的计算机提供文件共享和数据备份。部分NAS系统还可以支持FTP, HT...
  • 大规模分布式存储系统

    千次下载 热门讨论 2015-08-31 10:22:04
    理论方面,不仅讲解了大规模分布式存储系统的核心技术和基本原理,而且对谷歌、亚马逊、微软和阿里巴巴等国际型大互联网公司的大规模分布式存储系统进行了分析;实战方面,首先通过对阿里巴巴的分布式数据库Ocean...
  • 用分区方式管理的存储器,每道程序总是要求占用主存的一个或几个连续存储区域,作业或进程的大小仍受到分区大小或内存可用空间的限制,因此,有时为了接纳一个新的作业而往往要移动已在主存的信息。这不仅不方便,...
  • 为您提供Apache Cassandra 存储系统下载,Apache Cassandra是一套开源分布式Key-Value存储系统。它最初由Facebook开发,用于储存特别大的数据。主要特性:分布式基于column的结构化高伸展性Cassandra的主要特点就是...
  • 青云对象存储系统架构文档
  • 本文通过在线视频数据的特点研究了高性能分布式存储系统的设计方案。鉴于传统储存方案的缺点,为了更好地解决磁盘碎片存储性能下降的问题,本文对逻辑卷结构进行了设计。系统磁盘可以直接写入非结构化的数据 ,降低...
  • 一、图数据模型 ...(2)图数据存储系统 存储图顶点和边,提供顶点和边的查询。 二、Neo4j (1)概念 Native graph database:采用自定义的结构在本地硬盘存储图,而不是存在数据库关系型表中。 开源Java实
  • 各类分布式存储系统简介

    万次阅读 2017-10-23 15:31:26
    本地文件系统如ext3,reiserfs等(这里不讨论基于内存的文件系统),它们管理本地的磁盘存储资源、提供文件到存储位置的映射,并抽象出一套文件访问接口供用户使用。但随着互联网企业的高速发展,这些企业对数据存储...
  • HDFS跨外部存储系统的多层级存储

    千次阅读 2017-04-03 15:14:06
    在一些更大规模的公司,已经将大数据与云联系在了一起了,举个例子,我们将数据存储在HDFS内,然后在定期同步到云上,相当于云端存储的数据是一个back store。这样做的一个好处是防止本地集群的数据遭到意外的破坏或...
  • DRAM存储系统结构

    千次阅读 2020-02-28 11:52:48
    这几天在学习DRAM存储结构的基本知识,为了更好地理解DRAM结构的基本知识,仔细阅读了Memory Systems Cache, DRAM, Disk这本书中第十章节的内容,并翻译了所述内容。...在本章中,描述了DRAM存储系统的基本术...
  • 为了解决PLC数据储存量低、查阅不便的问题,设计了一种基于单片机的PLC数据存系统,实现了PLC与U盘、移动硬盘等储存设备的数据传输与存储
  • 计算机系统中的存储系统

    千次阅读 2018-09-27 20:49:53
    计算机系统中包含各种存储器,如CPU内部的通用寄存器组、CPU内的Cache(高速缓存)、CPU外部的Cache、主板上的主存储器、主板外的联机磁盘存储器以及脱机的磁带存储器和光盘存储器等。不同特点的存储器通过适当的...
  • 盘点分布式文件存储系统

    千次阅读 2021-02-08 22:14:23
    在项目的数据存储中,结构化数据通常采用关系型数据库,非结构化数据(文件)的存储就有很多种方式,服务器本地存储、Nas挂载、ftp等等,今天就来盘点一下,分布式文件存储系统
  • 海量分布式存储系统Doris

    千次阅读 2020-10-11 22:09:26
    Doris是一个海量分布式KV存储系统,其设计目标是支持中等规模高可用、可伸缩的KV存储集群。跟主流的NoSQL系统HBase相比,其具有相似的性能和线性伸缩能力,并具有更好的可用性及更友好的图形用户管理界面。对于一个...
  • 存储管理系统的设计

    2013-01-07 15:35:15
    存储管理系统的设计,操作系统课程设计.自己写的代码,里面有要求文档

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,930,545
精华内容 1,172,218
关键字:

储存系统之