精华内容
下载资源
问答
  • 理解磁盘条带

    2021-03-16 10:44:28
    **块:**块有N个扇区组成 段:一个Stripee在单个磁盘上的区域叫做段(segment) **条带:**不同磁盘的相同偏移处逻辑分割组成了条带(stripee),(条带完全是由程序在内存中虚拟出来的!) 条带长度:一个stripee...

    **扇区:**是磁盘中最小的存储单元,向磁盘读写数据时是以扇区为最小单元进行存储

    **块:**块有N个扇区组成

    段:一个Stripee在单个磁盘上的区域叫做段(segment)

    **条带:**不同磁盘的相同偏移处逻辑分割组成了条带(stripee),(条带完全是由程序在内存中虚拟出来的!)

    条带长度:一个stripee横跨过的扇区或块的个数或者字节容量,就是条带长度,即Stripee length。

    条带深度:一个segment包含的date block 或者扇区的个数或者字节容量,叫做stripee depth 
     在这里插入图片描述

     

    什么是条带化(striping)

     

        当多个进程同时访问一个磁盘时,可能会出现磁盘冲突。大多数磁盘系统都对访问次数(每秒的 I/O 操作,IOPS)和数据传输率(每秒传输的数据量,TPS)有限制。当达到这些限制时,后面需要访问磁盘的进程就需要等待,这时就是所谓的磁盘冲突。

        避免磁盘冲突是优化 I/O 性能的一个重要目标,而 I/O 性能的优化与其他资源(如CPU和内存)的优化有着很大的区别 ,I/O 优化最有效的手段是将 I/O 最大限度的进行平衡。

        条带化技术就是一种自动的将 I/O 的负载均衡到多个物理磁盘上的技术,条带化技术就是将一块连续的数据分成很多小部分并把他们分别存储到不同磁盘上去。这就能使多个进程同时访问数据的多个不同部分而不会造成磁盘冲突,而且在需要对这种数据进行顺序访问的时候可以获得最大程度上的 I/O 并行能力,从而获得非常好的性能。很多操作系统、磁盘设备供应商、各种第三方软件都能做到条带化。

        图 1 描述的是一个未经条带化处理的连续数据的分布,图 2 描述的是一个已经被条带化处理的连续数据的分布,从中比较,我们可以发现图 2 中对连续数据的读写都有最大的并发能力。

    图 1. 未经条带化处理的连续数据
    理解磁盘条带化

     

    图 2. 已经被条带化处理的连续数据

    理解磁盘条带化

        由于条带化在 I/O 性能问题上的优越表现,以致于在应用系统所在的计算环境中的多个层次或平台都涉及到了条带化的技术,如操作系统和存储系统这两个层次中都可能使用条带化技术。
     

    影响条带化效果的两个因素

        当对数据做条带化时,数据被切成一块块的小数据块,各小数据块分布存储在不同的硬盘上。从这个描述中我们可以看出,影响条带化效果的因素有两个,一是条带大小(stripe size),即数据被切成的小数据块的大小,另一个条带宽度(stripe width),即数据被存储到多少块硬盘上。

        条带宽度(stripe width)是指同时可以并发读或写的条带数量。这个数量等于RAID中的物理硬盘数量。例如一个经过条带化的,具有4块物理硬盘的阵列的条带宽度就是4。增加条带宽度,可以增加阵列的读写性能。道理很明显,增加更多的硬盘,也就增加了可以同时并发读或写的条带数量。在其他条件一样的前提下,一个由8块18G硬盘组成的阵列相比一个由4块36G硬盘组成的阵列具有更高的传输性能。

        条带大小(stripe size),有时也被叫做block size, chunk size, stripe length 或者 granularity。这个参数指的是写在每块磁盘上的条带数据块的大小。RAID的数据块大小一般在2KB到512KB之间(或者更大),其数值是2的次方,即2KB,4KB,8KB,16KB这样。

        条带大小对性能的影响比条带宽度难以量化的多。

        ·减小条带大小: 由于条带大小减小了,则文件被分成了更多个,更小的数据块。这些数据块会被分散到更多的硬盘上存储,因此提高了传输的性能,但是由于要多次寻找不同的数据块,磁盘定位的性能就下降了。

        ·增加条带大小: 与减小条带大小相反,会降低传输性能,提高定位性能。

        根据上边的论述,我们会发现根据不同的应用类型,不同的性能需求,不同驱动器的不同特点(如SSD硬盘),不存在一个普遍适用的"最佳条带大小"。所以这也是存储厂家,文件系统编写者允许我们自己定义条带大小的原因。不同条带大小,对于文件如何存储有很大的影响,请看下边这两幅图的对比:

    理解磁盘条带化理解磁盘条带化
        这是一个由4块硬盘组成的RAID0阵列,左边的条带大小为4KB,右边的条带大小为64KB。

    左边的图中的每一条细格表示4KB大小。

        图中红色文件大小是4KB,蓝色文件大小20KB,绿色文件大小为100KB,紫色文件大小为500KB。

        从图中我们可以看到,不同条带大小对"中型大小"文件的影响是很大的。对于红色的4KB文件来说,不论条带是4KB还64KB,它都分布在一块硬盘的一个数据块上。而对于紫色的500KB文件来说,无论条带是4KB还是64KB,它都会被分布在四块硬盘上。

        但是对于蓝色20KB的文件来说,如果采用64KB的条带大小,则它就会被分布在一块硬盘上,而不是像4KB条带时那样分布在四块硬盘上。同样绿色的100KB文件在64KB条带时,会被分布到2块硬盘,而4KB条带时则分布到4块硬盘上。可以看到,增加条带大小可以明显地增加定位性能。在上边的例子中,条带宽度理所当然是4。

        下图是使用16KB条带时的文件分布图,可以对应参考理解一下。
    理解磁盘条带化
         那么我们应该选择多大的条带大小呢?最好的办法是尝试不同组合,根据应用的不同得到自己的经验规律。另外,不要过高估计不同条带大小间的性能差异。它有可能会差的很大,尤其是设置成4KB和256KB这样两个相对极端数值的时候,但对于相差不大的数值,它们的性能差异可能就不明显。对于大多数应用来说,可以参考这样的经验法则:大量的小文件读写时,采用较大的条带大小;少量的大文件的快速访问,采用比较小的条带;如果要平衡这两者,那么采用中间值。

    参考资料:

    http://www.pcguide.com/ref/hdd/perf/raid/concepts/perfStripe-c.html

    http://www.itvue.com/Article/DB/DB2/200904/11214.html

    展开全文
  • 创建虚拟机时,WMware对虚拟磁盘默认选取的是 “将虚拟磁盘拆分成多个文件”,同时也提示:拆分磁盘后,可以更轻松地在计算机之间移动虚拟机,但可能会降低大容量磁盘的性能。 如何将其转回单个文件呢?VMware自带...

          创建虚拟机时,WMware 对虚拟磁盘默认选取的是 “将虚拟磁盘拆分成多个文件”,同时也提示:拆分磁盘后,可以更轻松地在计算机之间移动虚拟机,但可能会降低大容量磁盘的性能。

          如何将其转回单个文件呢?VMware 自带了 “vmware-vdiskmanager.exe”  工具,一条命令即可。

          (合并后,文件大小并不会有变化)

    -- DOS进入 vmware-vdiskmanager.exe 所在目录下执行,即 VMware 安装目录
    --注意空格
    vmware-vdiskmanager.exe  -r  "E:\VMware\win_srv_2008_r2_datacenter_sp1_x64\win_srv_2008_r2_datacenter_sp1_x64.vmdk"  -t  0  "E:\Merged.vmdk"

     

    展开全文
  • • RAID 0,条带模式 – 同一个文档分散存放在不同磁盘 – 并行写入以提高效率,没有容错功能 – 至少需要两块磁盘 • RAID 1,镜像模式 – 一个文档复制成多份,分别写入不同磁盘 – 多份拷贝提高可靠性

    RAID磁盘阵列

    独立磁盘的冗余阵列(Redundant Arrays of Inexpensive Disks )
    通过硬件/软件技术,将多个较小/低速的磁盘整合成一个大磁盘
    阵列的价值:提升I/O效率、硬件级别的数据冗余
    不同RAID级别的功能、特性各不相同
    在这里插入图片描述
    结构:在这里插入图片描述

    • 磁盘阵列的多种等级:
      • RAID 0,条带模式
      – 同一个文档分散存放在不同磁盘
      – 并行写入以提高效率,没有容错功能
      – 至少需要两块磁盘
      • RAID 1,镜像模式
      – 一个文档复制成多份,分别写入不同磁盘
      – 多份拷贝提高可靠性,效率无提升,有容错功能
      – 至少需要两块磁盘
      • RAID5,高性价比模式(目前用的最多)
      – 相当于RAID0和RAID1的折中方案
      – 需要至少一块磁盘的容量来存放校验数据
      – 至少需要三块磁盘
      • RAID6,高性价比/可靠模式
      – 相当于扩展的RAID5阵列,提供2份独立校验方案
      – 需要至少两块磁盘的容量来存放校验数据
      – 至少需要四块磁盘
      • RAID 0+1/RAID 1+0
      – 整合RAID 0、RAID 1的优势
      – 并行存取提高效率、镜像写入提高可靠性
      – 至少需要四块磁盘
      在这里插入图片描述

    虚拟数据优化器

    VDO,Virtual Data Optimizer
    一个内核模块,目的是通过重删减少磁盘的空间占用,以及减少复制带宽
    VDO是基于块设备层之上的,也就是在原设备基础上映射出mapper虚拟设备,然后直接使用即可

    • 优化方式:
      重复数据删除
      –输入的数据会判断是不是冗余数据
      –判断为重复数据的部分不会被写入,然后对源数据进行更新,直接指向原始已经存储的数据块即可
      压缩
      –对每个单独的数据块进行处理
    • 所需安装包:
      yum -y install vdo kmod-kvdo
    • 命令
      vdo create --name=VDO卷名称 --device=设备路径 --vdoLogicalSize=逻辑大小
      vdo list
      vdo status -n VDO卷名称
      vdo remove -n VDO卷名称
      vdostatus [–human-readable] [/dev/mapper/VDO卷名称]
      •VDO卷的格式化加速(跳过去重分析):
      –mkfs.xfs –K /dev/mapper/VDO卷名称
      –mkfs.ext4 -E nodiscard /dev/mapper/VDO卷名称
      在这里插入图片描述
    展开全文
  • 虚拟带库为什么不可能代替

    千次阅读 2010-05-11 22:27:00
    但我看还得再补充一:由于法律法规的限制,库不会被替代。 在现在的存储解决方案中,虚拟化已经成为了必不可少的关键技术:以Vmware和XEN为代表的虚拟化操作系统是其中应用最为广泛的例子。除此之外,光纤...

        以下内容为转载。但我看还得再补充一条:由于法律法规的限制,带库不会被替代。

        在现在的存储解决方案中,虚拟化已经成为了必不可少的关键技术:以VmwareXEN为代表的虚拟化操作系统是其中应用最为广泛的例子。除此之外,光纤交换机也可用通过虚拟化来给不同的应用划分不同的zone;磁盘阵列也利用虚拟化,在物理磁盘上划分LUN,提供给用户使用,用户不需要知道LUN是来自某一块或者某几块磁盘;带库上也利用虚拟化,出现虚拟带库,用某一个磁盘阵列加上虚拟带库软件,可以虚拟多个厂商的数十种带库来提供给用户使用。现在,可以这么说,如果没有虚拟化,就没有能让用户接受的解决方案。

        随着虚拟化带库的应用,出现有一种虚拟带库将成为带库应用主流的说法,其主要依据有两点:一是速度,使用虚拟带库,由于物理上是将数据写入带磁盘而不是真实的带库,那么其写入速度是和磁盘同一量级的;另外在读出数据的时候,也不需要象磁带那样先倒带,在寻找数据入口,大大提高了数据读出的速度,那么在当今数据量越来越大的今天,更快的数据读写速率就意味着更短的时间,这对于用户的意义也是越来越大了;

    原因二是不需要改变用户现有的部署环境:在现在的备份世界中,磁盘正在发挥着越来越大的作用。随着技术的发展,磁盘的使用寿命也一直在提高,其正常使用寿命应该是在510年,而且还在增加,这已经能够满足很多用户的备份需要,磁带的20-30年寿命对于大多中小企业用户来说是不需要的。同时,随着数据爆炸式的增长,带库的读写速度慢的瓶颈也逼迫用户开始考虑磁盘备份,广大的数据保护厂商也适时的推出了各种磁盘备份的新技术。然而,在替换的过程中用户有了新的问题:原有的数据和备份策略是否能够保留。答案式否定的,因为备份软件一般都会根据备份介质的不同,选择不同的备份策略。这样就需要用户更换所有的备份策略并重新测试。如果使用虚拟带库,就可以避免这样的麻烦。用户既可以灵活的选择将数据备份到磁盘或者磁带上,也不需要改变任何现有的部署,可谓一举两得。

    然而,即使虚拟带库有这样的优点,他也不会代替现有的带库,成为备份市场的主流。原因同样是两点:

    一是价格,虚拟带库的价格不但远远高于带库备份的价格,而且高于普通磁盘备份的价格,这是因为虚拟带库的报价中不但有磁盘的价值,还有虚拟软件的价值。这个因素是不可忽略的,因为现在的客户总是希望花最少的钱来办更多的事情,对于中小企业更是这样。如果用户决定利用磁盘来替换磁带来作为备份介质,他们更愿意建立新的备份策略而不是花费更多的金钱。

    第二个原因同样是速度,虚拟带库的备份速度是高于传统带库的,但是由于虚拟软件的存在,其读写速度有低于直接使用磁盘阵列,而且现在备份厂商都为磁盘备份提供了各种优化,而虚拟带库是不能够使用这些特性的。无疑,这也是虚拟带库不能广泛使用的一个因素。

    虚拟带库和虚拟操作系统是不同的,从Vmware发展的经验来看,其主要的应用在于软件测试和系统级应用的分离,用户可以在同一台高性能实体机上运行多个测试程序,也可以将多个系统服务部署在不同的操作系统下面,避免多个服务互相干扰。对于虚拟带库来说,虽然它也可以让将不用业务的备份放在不同的虚拟带库中,但是这样的需求比较小,而且备份软件都已经能够提供这样的功能,所以其市场需求,起码到现在还没有体现出来。

    那么,虚拟带库到底什么时候,被什么人使用呢。虚拟带库,现在经常是作为一种传统磁带库的补充解决方案来被提出的。它一方面可以弥补传统带库速度低的缺点,将某些重要备份放到虚拟带库中以加快备份可靠性;另一个方面它提供了一种从磁盘到磁带备份的方式,先将数据备份到磁盘,再将数据备份到磁带,这样的好处是数据可以很快速地从盘阵转移到磁带上,从而减少系统的占用。

    综上所述,虚拟带库是有其优点的,并且在未来的备份市场中依然占有一席之地,然而,由于其天生的劣势:速度不是磁盘阵列且价格最高,它也不会成为市场中的主流。它只会作为传统备份解决方案的一种有益补充,继续得到使用。

    展开全文
  • 一个典型的例子就是卷管理软件。...这些卷管理软件的功能就是模拟物理磁盘的结构,把多个磁盘组或者多个磁盘条带组织起来,虚拟成一组统一的数据块集,这样操作系统就可以统一而方便的使用所有的磁盘了。...
  • 同时还会了解为什么诸如宽条带化、存储虚拟化技术和纠删编码会逐渐改变RAID的初设定。  可能没有哪种技术像RAID那样和企业级存储行业紧密相关。这是因为将诸多物理磁盘驱动器组合成一个单独的虚拟驱动器可以大大...
  •   磁盘阵列是由很多价格...没有容错设计的条带磁盘阵列,以条带形式将RAID阵列的数据均匀分布在各个阵列中。     总容量=(磁盘数量)*(磁盘容量) 2.RAID 1 以镜像作为冗余手段,虚拟磁盘中的数据有多个拷贝...
  • 同时还会了解为什么诸如宽条带化、存储虚拟化技术和纠删编码会逐渐改变RAID的最初设定。  可能没有哪种技术像RAID那样和企业级存储行业紧密相关。这是因为将诸多物理磁盘驱动器组合成一个单独的虚拟驱动器可以大大...
  • 关于磁盘阵列和LVM

    2020-10-16 10:14:17
    通过对磁盘上的数据进行条带化,实现对数据成块存取,减少磁盘的机械寻道时间,提高了数据存取速度 通过对一个阵列的几块磁盘同时读取,减少了磁盘的机械寻道时间,提高数据存取速度 通过镜像或者存储奇偶校验...
  • 多个独立的物理磁盘按照不同的方式组合起来,形成一个虚拟磁盘。 常用的级别是: RAID0,(raid0是以条带的形式将数据均匀分布在阵列的各个磁盘上。例如40G的数据,RAID0就是将数据平分为两个20G,两个磁盘分别放20G...
  • Raid即磁盘阵列,通过该技术可以将多个磁盘组合成单个虚拟磁盘驱动器。通过条带结构,镜像机构和奇偶校对结果的不同组合,可以形成不同的Raid方案。每个Raid方案都在数据的传输速度、数据安全性以及磁盘容量三者之间...
  • 定义: Raid是把多块独立... 技术点:条带化 磁盘阵列将多个磁盘视为一个虚拟磁盘,数据以分块(block/segment)的方式连续存储在各磁盘上。数据分块大小须是扇区大小(512字节)的整数倍。磁盘阵列中一个水平上的分块集
  • 2. 一个新进程建立的时候,将会建立起自己的内存空间,此进程的数据,代码等从磁盘拷贝到自己的进程空间,哪些数据在哪里,都由进程控制表中的task_struct记录,task_struct中记录中一链表,记录中内存空间的分配...
  •  在linux系统中目前以MD(Multiple Devices)虚拟块设备的方式实现软件RAID,利用多个底层的块设备虚拟出一个新的虚拟设备,并且利用条带化(stripping)技术将数据块均匀分布到多个磁盘上来提高虚拟设备的读写
  • 虚拟文件卷或软RAID

    2013-12-21 09:37:54
    最初,RAID都是由硬件实现的,要使用RAID,至少需要有一个RAID卡。...比如,Linux下的逻辑卷(Logical Volume)系统LVM2,支持条带(stripe);Linux下的MD(Muliple Device)驱动,支持RAID0、RAID1、RAID5
  • [color=red]一、首先建议做冗余磁盘整列,但是这需要多个...]看看这个,希望对你有帮助:(1)Raid 10是一个Raid 0与Raid1的组合体,它是利用奇偶校验实现条带集镜像,所以它继承了Raid0的快速和Raid1的安全。RAID 1...
  • Linux自带多路径详解

    2017-07-03 14:22:00
    一、多路径解释  多路径,顾名思义就是有多种选择的路径。在SAN或IPSAN环境,主机和存储之间外加了光纤交换机,这就导致主机和存储之间交换速度和效率增强,一路径肯定是不行的,也... 磁盘虚拟化  多路径之...
  • 一、多路径解释多路径,顾名思义就是有多种选择的...主要实现如下几个功能故障的切换和恢复IO流量的负载均衡磁盘虚拟化多路径之前一直是存储厂商负责解决,竟来被拆分出来单独卖钱了。构架基本是这样的:存储,多...
  • Dell服务器配置RAID10

    千次阅读 2017-11-27 17:42:00
    【Dell服务器配置RAID10】 ... 虚拟磁盘管理 -> 创建虚拟磁盘 2SAS做RAID1,vdisk_os; 条带:64K 读取策略:自适应预读 写策略:回写 磁盘高速缓存:禁用 6SAS做RAID10,vdisk_data; 条带:64K 读取策略:...
  • 编者按磁盘阵列(RAID),将多个物理磁盘按照一定的形式和方案组织起来,虚拟化成一个或者多个虚拟磁盘,这些虚拟磁盘的数据以条带的方式分布存储于所有的物理磁盘中,以此来获得更大的存储空间以及更快的传输性能。...
  • 编者按磁盘阵列(RAID),将多个物理磁盘按照一定的形式和方案组织起来,虚拟化成一个或者多个虚拟磁盘,这些虚拟磁盘的数据以条带的方式分布存储于所有的物理磁盘中,以此来获得更大的存储空间以及更快的传输性能。...
  • 编者按磁盘阵列(RAID),将多个物理磁盘按照一定的形式和方案组织起来,虚拟化成一个或者多个虚拟磁盘,这些虚拟磁盘的数据以条带的方式分布存储于所有的物理磁盘中,以此来获得更大的存储空间以及更快的传输性能。...
  • AIX之中逻辑元管理主要依靠RAID进行,RAID(Redundant Array of Independent Disk)-独立冗余磁盘阵列,可以理解...其中AIX比较支持RAID0-Striping(条带化),RAID1-Mirroring(镜像),RAID10 or 1+0-Striping and mirrorin
  • 6.4.4 进程的堆使用、内存占用、虚拟内存大小,页面错误情况 199 6.5 动态链接库 200 6.5.1 加载、释放DLL、通过句柄获取DLL相关信息 201 6.5.2 编写动态链接库、导出函数 201 6.5.3 创建动态链接库工程,配置...
  • Oracle ASM 管理

    千次阅读 2016-09-01 23:15:12
    自动存储管理即ASM(Automatic Storage Management),...逻辑卷:LVM(Logical Volume Manager),以软件方式将虚拟磁盘呈现给用户,LVM是操作系统级别的。提供了磁盘管理的灵活性,可靠性,具有条带,镜像和快照等功能。
  • 实例027 小明去学校和医院分别要走哪路 34 实例028 利用条件语句判断用户登录身份 35 实例029 判断指定月份属于哪个季节 36 实例030 使用switch语句更改窗体颜色 37 实例031 循环向控制台中输入内容 38 实例032 ...
  • VMware vSAN性能测试那点后续的事 原创李严省虚实之路2018-06-05 VMware vSAN条带介绍 大家好,以前我和各位朋友讲过关于VMware vSAN的...默认情况下VMware vSAN的条带数量为1 ,即一个虚拟磁盘vmdk只会在...
  • RAID01/RAID10

    2015-07-16 09:42:00
    RAID01是加速镜像(即先条带再镜像),图中有8块物理磁盘,首先RAID控制器通过RAID0技术分别抓取四块磁盘组成两个虚拟盘,然后控制器再通过RAID1技术将两个虚拟盘形成一个虚拟盘,对于外部服务器只有最终形成的虚拟...
  • 对备份盘进行RAID结构分析,得到其原来的RAID级别,条带规则,条带大小,校验方向,META区域等。根据得到的RAID信息搭建一组虚拟的RAID5环境。进行虚拟磁盘及文件系统解释。检测虚拟结构是否正确,如不正确,重复4-7...

空空如也

空空如也

1 2 3 4 5 ... 10
收藏数 183
精华内容 73
关键字:

虚拟磁盘条带