精华内容
下载资源
问答
  • RMAN备份技术解决方案.pdf
  • 业务连续性,容灾备份技术,双活数据中心解决方案,技术方案说明
  • 浅议云计算环境下的服务器虚拟化与备份技术.pdf
  • 数据备份技术与灾难恢复,多角度,多层面,多场景,体系化介绍数据备份与恢复技术,适合数据库开发人员和DBA,是不可多得的资料
  •  磁盘备份技术白皮书汇总   在大数据时代下,磁带备份技术显然已经不能满足于用户的需求,采用何种技术可以摆脱磁带备份带来的梦魇呢?磁盘备份技术恰恰是解决这一问题的最佳途径。我们在本期下载专题...
  • 为此,在分析大数据容灾备份现状的基础上,结合行业对大数据容灾备份需求,讨论了几种典型的技术解决方案及其优缺点,提出了一种基于HDFS的增量数据备份恢复方案,具备分钟级RPO的系统远程备份特性,可以较好地解决...
  • 第三章软件安全技术和备份技术 第三章软件安全技术和备份技 术 第一节软件安全技术概述 第二节软件防拷贝技术 第三节防静态分析技术 第四节防动态分析技术 第五节软件保护及工具 第六节备份技术概述 第七节备份技术...
  • NULL 博文链接:https://truevoid.iteye.com/blog/653846
  • 服务器备份技术

    2013-06-18 01:22:23
    服务器备份技术,一些关于服务器数据备份的命令,让你快速学会备份操作。
  • netapp 容灾备份技术

    2014-09-05 15:00:47
    netapp 容灾 备份 SnapMirror snapvault 技术详解
  • 教程名称: 经典的服务器数据备份技术白皮书【】08年服务器版块及存储备份版块基本知识电子书【】HP服务器双机热备方案【】IBM X3650服务器 DS3200 SAS 磁盘柜双机热备方案【】linux下的服务器双机热备份【】NAS与...
  • CDM CDP及传统备份技术对比

    千次阅读 2020-03-11 15:59:44
    本文仅从数据保护、使用的角度对当前采用的数据备份技术进行对比,不涉及具体的品牌产品; 传统备份、CDP(Continuous Data Protection连续数据保护)、CDM(Copy Data Management数据副本管理)请自行搜索了解; 从以下...

    本文仅从数据保护、使用的角度对当前采用的数据备份技术进行对比,不涉及具体的品牌产品;

    传统备份、CDP(Continuous Data Protection连续数据保护)、CDM(Copy Data Management数据副本管理)请自行搜索了解;

    从以下几个维度进行介绍、分析:

    1、应用数据的获取

    1)传统备份系统:
    备份数据的获取方式:在目标主机安装客户端,通过客户端软件对接目标应用的备份接口来定期获取数据进行保护;
    备份数据一致性方面:由于是通过应用的备份接口获取数据,能够确保应用数据的一致性;
    获取数据格式:备份数据非原始格式;
    备份架构:LAN备份、SAN备份都支持

    2)CDP类备份系统:
    备份数据的获取方式:在目标主机安装客户端,通过客户端软件实现对磁盘扇区数据块持续的监控,连续捕获数据变化,将变化后的数据进行同步保护(实时/定时),最终形成对目标主机的磁盘镜像备份;
    备份数据一致性方面:由于备份客户端软件通过持续监控磁盘扇区数据块的变化,不考虑应用、不通过应用的备份接口获取数据;备份数据存在应用数据不一致的可能,但是大多情况下都是ok的;通常是整机进行备份,不仅仅是备份目标应用;
    备份数据格式:备份数据是原始格式
    备份架构:LAN备份、SAN备份都支持

    3)CDM类备份系统:
    备份数据的获取方式:在目标主机安装客户端,通过客户端软件对接目标应用的备份接口,结合CBT(Changed Block Tracking)块修改追踪技术获取增量数据,实现对目标应用的数据保护;不同的应用可能有不同的处理方式;
    备份数据一致性方面:由于是通过应用的备份接口或者快照方式获取数据,能够确保应用数据的一致性;
    备份数据格式:备份数据是原始格式
    备份架构:通常采用LAN、SAN

    4)基于以上各类备份系统的特点小结如下:

    (1)备份数据的获取方式:传统备份和CDM备份数据获取方式一致,通过应用的备份接口完成;

    (2)备份数据一致性方面:基本上都是可以保证的,CDP类可能存在小概率问题;

    (3)备份数据格式:CDP和CDM可以保证数据格式同原数据格式一致,这是有好处的,在备份数据的恢复、有效利用方面就体现出来了;传统备份软件备份数据格式同原数据格式不一致;

    (4)在目标主机的资源占用方面:由于CDP类备份系统是持续的对磁盘扇区数据块的变化进行监控,相对的对备份目标主机的资源占用较高;

    (5)一台备份系统所能保护的目标主机数量方面:由于CDP采用持续监控的方式,可以实现准实时备份,因此对于CDP设备的性能要求也高,通常一台CDP类所能保护的业务系统不能太多;

    2、备份策略采用的备份方式

    1)传统备份系统:针对大数据量的备份,为了平衡备份效率和备份时间,通常会选择全量+增量方式;比如每周日全量备份,周一至周六增量备份等等;

    2)CDP类备份系统:首次完全备份,后续的备份采用永久增量的备份方式;通过客户端的持续监控磁盘扇区数据块变化情况获取增量数据,增量备份数据在备份服务器端进行逻辑上的融合,形成一个全量数据备份点;

    3)CDM类备份系统:首次完全备份,后续的备份采用永久增量的备份方式;通过CBT(Changed Block Tracking)等块修改追踪技术获取增量数据,在备份期间将增量数据通过应用和之前的全量数据进行合成,形成新的全量备份;逻辑上每一个备份点都是一个全量数据;

    3、备份数据的存放

    现在通常备份软件为了节省备份空间都会采用压缩、重复数据删除的技术对备份数据进行处理以节省存储空间;

    4、备份数据的恢复

    1)传统备份系统:当业务系统数据需要恢复时,传统备份系统需要做Restore的动作,大数据量的情况下,Restore耗时较长;

    2)CDP类备份系统:当业务系统数据需要恢复时,由于数据格式同原数据格式一致,通常直接挂载或者在自己内部形成虚拟机打开,再抽取所需数据恢复业务系统;

    3)CDM类备份系统:当业务系统数据需要恢复时,由于数据格式同原数据格式一致,通常直接挂载至原主机或者应急主机环境启用业务系统,再抽取所需数据恢复业务系统;

    5、备份数据的使用方面

    1)数据归档存放方面:传统备份数据的使用涉及到Restore的动作,耗时较长,一般选择合适的存储介质(如磁带等)用于数据归档;当然CDP和CDM类也有相应的解决方法来归档数据;

    2)数据开发测试方面:CDP和CDM类备份系统的备份数据格式同原数据格式一致,都可以用来搭建开发测试环境;

    CDP可以通过在内部生成业务主机的虚拟机形式来临时满足开发测试需求,针对大批量的测试开发需求,受限于自身的资源需求,一般不能满足开发测试要求;

    CDM类备份系统通过挂载方式将备份数据直接挂载至开发测试主机,以搭建开发测试环境,用户需要准备开发测试环境,存储空间由CDM备份系统提供;

    3)数据应急恢复方面:CDP和CDM类备份系统的备份数据格式同原数据格式一致,当业务系统Down机时,是可以作为业务系统的应急系统使用,快速的恢复业务对外服务;通常CDP类备份系统会通过在内部形成虚拟机的形式启用业务系统,由于虚拟机的资源限制,一般是不能满足繁忙业务的应急需要的;CDM类备份系统不提供主机运行环境,仅将备份数据的挂载,主机环境需要客户准备;

    6、异地容灾支持方面

    1)传统备份、CDP和CDM备份系统都有自己的异地容灾同步机制,满足备份数据的异地容灾需求;

    2)数据的同步传输方面都有相应的机制实现增量数据传输,减少对数据同步网络的要求;

    7、业务连续性方面评估

    传统备份,受限于备份数据不能直接挂载使用,在业务连续性方面考虑,比较弱势;但是由于其历史积淀的原因,技术稳定,当前的客户众多;同时相应的厂商也意识到自己存在的短板,都在基于自身的产品特点进行有针对性的改造,以期实现相关业务的即时恢复(Instance Recover)。

    CDP和CDM类备份系统,其优势是备份数据格式同原数据格式一致,能够快速的恢复业务,在业务连续性方面,优势明显;受限于CDP的资源占用、技术实现的复杂程度,目前看单独依靠CDP技术的备份系统不多;

    8、前景展望

    随着互联网大数据时代的发展,面对激烈的竞争,企业开始逐步考虑提高数据的利用价值,通过大数据分析挖掘数据金矿,以期提升企业的核心竞争力。在此情况下,数据的有效利用成为企业比较关心的问题,开发、测试以及数据统计、分析系统都需要用到大量的生产数据副本。结合以上各类技术的特点,窃以为CDM将会有较大的发展机会。

    个人观点、欢迎批评指正!
    http://fordbs.com/29.html

    展开全文
  • 针对分布式CGN 采用1+1 备份方式导致规模商用的投资规模过大等问题,提出了分布式CGN 的集中备份技术,探讨了集中备份技术原理、业务流量的引导技术、集中备份CGN 的配比及其备份能力以及节省部署成本的能力。
  • 容灾备份技术

    千次阅读 2017-02-15 14:43:42
    容灾比较侧重灾难发生时的系统切换应对能力,备份主要用于灾难发生后的数据恢复容灾是指为了保证关键业务和应用在经历各种灾难后,仍然能够最大限度的提供正常服务的所进行的一系列系统计划及建设行为。业务连续性是...

    1.灾备和容灾的定义:

           灾备实际是指的信息系统应对灾难的一整个流程,应该是既包含灾难前的备份,又包含灾难后的恢复。容灾比较侧重灾难发生时的系统切换应对能力,备份主要用于灾难发生后的数据恢复容灾是指为了保证关键业务和应用在经历各种灾难后,仍然能够最大限度的提供正常服务的所进行的一系列系统计划及建设行为。业务连续性是容灾的最终建设目标容灾是一个宏观的概念,通常大家所说的灾难备份、灾难恢复等只是容灾的一部分,或者说是容灾发展历程中的某一阶段的雏形。

    2.备份技术:

       系统灾难恢复
       系统灾难恢复,就是在系统出现崩溃的时候,能够用非常少的步骤,将系统重建,包括上面的系统补丁、应用软件和数据。这样可以提高恢复的准确性、缩短恢复时间、缩短业务中断时间。
    数据远程复制,将数据在另外的地方实时产生一份可用的副本,此副本的使用不需要做数据恢复,可以将副本立即投入使用。

    3:容灾系统分类:

    3.1数据容灾:

        数据容灾,是指建立一个异地的数据系统,该系统是本地关键应用数据的一个可用复制。在本地数据及整个应用系统出现灾难时,系统至少在异地保存有一份可用的关键业务的数据。该数据可以是与本地生产数据的完全实时复制,也可以比本地数据略微落后,但一定是可用的。采用的主要技术是数据备份和数据复制技术

    3.2应用容灾:

        应用容灾,是在数据容灾的基础上,在异地建立一套完整的与本地生产系统相当的备份应用系统(可以是互为备份),在灾难情况下,远程系统迅速接管业务运行。
    数据容灾是抗御灾难的保障,而应用容灾则是容灾系统建设的目标

    4.数据容灾备份的等级:

    第0级:没有备援中心
      这一级容灾备份,实际上没有灾难恢复能力,它只在本地进行数据备份,并且被备份的数据只    在本地保存,没有送往异地。
      第1级:本地磁带备份,异地保存
        在本地将关键数据备份,然后送到异地保存。灾难发生后,按预定数据恢复程序恢复系统和数据。这种方案成本低、易于配置。但当数据量增大时,存在存储介质难管理的问题,并且当灾难发生时存在大量数据难以及时恢复的问题。为了解决此问题,灾难发生时,先恢复关键数据,后恢复非关键数据。
      第2级:热备份站点备份
      在异地建立一个热备份点,通过网络进行数据备份。也就是通过网络以同步或异步方式,把主站点的数据备份到备份站点,备份站点一般只备份数据,不承担业务。当出现灾难时,备份站点接替主站点的业务,从而维护业务运行的连续性。
      第3级:活动备援中心
      在相隔较远的地方分别建立两个数据中心,它们都处于工作状态,并进行相互数据备份。当某个数据中心发生灾难时,另一个数据中心接替其工作任务。这种级别的备份根据实际要求和投入资金的多少,又可分为两种:①两个数据中心之间只限于关键数据的相互备份;②两个数据中心之间互为镜像,即零数据丢失等。零数据丢失是目前要求最高的一种容灾备份方式,它要求不管什么灾难发生,系统都能保证数据的安全。所以,它需要配置复杂的管理软件和专用的硬件设备,需要**相对而言是最大的,但恢复速度也是最快的。

    5.容灾备份的技术和指标:

       远程镜像技术 :

       远程镜像技术是在主数据中心和备援中心之间的数据备份,镜像是在两个或多个磁盘或磁盘子系统上产生同一个数据的镜像视图的信息存储过程,一个叫主镜像系统,另一个叫从镜像系统。
       快照技术 :
       快照是通过软件对要备份的磁盘子系统的数据快速扫描,建立一个要备份数据的快照逻辑单元号LUN和快照cache。快照LUN是一组指针,它指向快照cache和磁盘子系统中不变的数据块。
      互连技术: 
       早期的主数据中心和备援数据中心之间的数据备份,主要是基于SAN的远程复制。目前,出现了多种基于IP的SAN的远程数据容灾备份技术。

    衡量容灾备份的两个技术指标 
        RPO:即数据恢复点目标,主要指的是业务系统所能容忍的数据丢失量
        RTO:即恢复时间目标,主要指的是从灾难发生到业务系统恢复服务功能所需要的最短时间周期。 


    6.灾备的核心技术及未来发展方向:

    灾备存储技术:当前灾备存储技术可以与应用相关(主要采用软件方式实现,可以定制关键信息,实现起来也比较灵活)、也可以无关(主要基于数据卷或者块,全信息复制,实现自动化不需要用户干预)。在灾备存储技术中主要包括:虚拟化存储技术、多存储版本的管理、删除重复数据技术、集群并行存储技术、高效能存储技术等。
    灾备体系结构技术:其核心包括容错系统结构、数据恢复技术、系统恢复技术、业务连续性服务
    灾备信息安全技术主要用于保障数据在存储与传输过程中的安全性问题、网络系统的可靠和安全连接问题、计算机系统的安全性问题、使用用户的身份安全问题和系统操作的不可抵赖性问题等其核心包括:数据安全性技术、网络安全技术、系统安全技术、身份安全技术、安全审计技术
    灾备系统管理技术是灾备的关键支撑技术,它包括如下内容:数据信息管理、灾难应急管理、、系统恢复管理、灾难影响评估与决策支持。


    展开全文
  • 一、网络冗余技术背景 二、研究方向 三、典型案例 1、物理链路主备可靠技术(主备网卡、主备传输...2、骨干网多业务链路冗余技术(OSPF、有线备份、无线备份) 3、5G灾备双链路路由(互联网专线灾备、数据专线灾备)
  • 数据备份技术知识梳理(建议收藏)

    千次阅读 2020-10-31 11:40:00
    所谓数据保护技术是指对当前时间点上的数据进行备份,如果说原始数据被误删除了,可以通过备份数据找回或恢复数据。从底层来分,数据保护可以分为文件级保护和块级保护。文件级备份文件级备份:将磁盘...

    所谓数据保护技术是指对当前时间点上的数据进行备份,如果说原始数据被误删除了,可以通过备份数据找回或恢复数据。从底层来分,数据保护可以分为文件级保护和块级保护。

    文件级备份

    文件级备份:将磁盘上所有文件通过调用文件系统接口备份到另一个介质上。也就是把数据以文件形式读出,然后存储在另一个介质上面。此时备份软件只能感知到文件这一层。

    我们知道一般来说,文件在原来的介质上,可以是不连续存放的,通过文件系统来管理和访问。当备份到新的介质上以后,文件完全可以连续存放。正因为如此,没有必要备份元数据,因为利用新介质进行恢复的时候,反正会重构文件系统。

    块级备份

    块级备份:就是不管块上是否有数据,不考虑文件系统的逻辑,备份块设备上的每个块。

    这样好处是不通过调用文件系统接口,速度更快,缺点的是备份的时候会把所有的块复制一遍,但是实际上很多扇区的数据是不对应真实文件的,也就是会备份很多僵尸扇区。而且备份之后,原来不连续的文件一样是不连续的文件,有很多的碎片。

    远程文件复制

    远程文件复制:通过网络传输到异地容灾点。典型的代表是rsync异步远程文件同步软件。可以监视文件系统的动作,将文件的变化,同步到异地站点。增量复制。


    远程卷镜像

    这是基于的远程备份。与远程文件复制不同的地方在于,是把块数据备份到异地站点。又可以分为同步和异步复制。

    • 同步复制:必须等数据复制到异地站点以后,才通报上层IO成功消息

    • 异步复制:写入成功即可回复成功,然后通过网络传输到异地。不能保证一致性,但是上层响应快。

    基于块的备份措施,一般都是在底层设备上进行,不耗费主机资源。


    快照技术

    远程镜像确实是对生产数据一种非常好的保护,但是需要镜像卷一直在线,主卷有写IO,那么镜像卷也需要有写IO。

    如果想对镜像卷进行备份,需要将停止主卷的读写,然后将两个卷的镜像关系分离。所以当恢复主卷的IO的时候,镜像卷不会再被读写。然后才可以备份镜像卷的数据。

    这样会存在一个问题,主卷上还继续有IO,将会导致数据与备份的镜像不一致。所以主卷上所有的写IO动作,会以位图BitMap方式记录下来,BitMap上的每个位表示卷上的一个块,0表示未写入,1表示已写入,所以当拆分镜像以后,被写入了数据,程序将BitMap文件对应位从0变为1。备份完成以后,再做数据同步即可。

    可以看出上述过程比较的繁琐,而且需要占用一块和主卷一样大小的镜像卷。

    快照技术就是为了解决这种问题,其基本思想是抓取某一时间点磁盘卷上的所有数据。

    快照分为:基于文件系统的快照和基于物理卷的快照,下面介绍一下快照的底层原理。

    基于文件系统的快照

    文件系统管理的精髓:链表、B树、位图,也就是元数据。

    文件系统

    • 将扇区组合成更大的逻辑块来降低管理规模。NTFS最大块可以到4KB,也就是8个扇区一组一个簇(Block),这样可以减少管理成本。

    • 文件系统会创建所管理存储空间上所有簇的位图文件。每个位代表卷上的簇(或者物理扇区)是否被使用,如果被使用,则置1。

    • 文件系统保存一份文件和其对应簇号的映射链。因为映射链本身和簇位图也是文件,也有自己的映射链,所以针对重要的元数据,有一个固定的入口: root inode

    写入新数据

    • 查找簇位图,找位值为0的簇号

    • 计算所需空间, 分配簇号给文件

    • 将数据写入簇,再去文件——簇号映射图更新

    • 将对应的簇映射关系记录下来,到簇位图将对应位置改为1。

    删除数据

    • 直接在簇号映射链中抹掉

    • 簇位图对应簇改为0。

    可以看出删除数据实际上不会抹掉实际的数据。所以,最重要的不是数据,而是文件——簇号映射链和位图等元数据。

    也就是说我们要做备份,只需要把某时刻的文件系统中的映射图表保存下来。但是必须保证卷上的数据不被IO写入了,同时又要不应用还不能中断。既然原来的空间不能再写了,我们可以写到其他的空闲区域。

    • 思路一:Copy on First Write (CoFW),在覆盖数据块之前,需要将被覆盖的数据块内容复制出来,放到空闲的空间。

    • 系统中将有两套元数据链,原来的元数据指向当前,快照的元数据链指向历史。原来的存储空间永远是最新的数据,历史数据会逐渐搬出到空闲空间里面。

    • 思路二:Redirect on First Write (RoFW)。先复制元数据,然后将针对源文件的更改都重定向到空余空间,同时更新元数据

    • CoFW不同的是,原来的数据块不会被覆盖。同样的,系统也有两套元数据,一套是快照保存下来的,永远不更新,一套是源文件系统的,不断的更新。

    其实只有首次覆盖的时候,才重定向,因为重定向以后的数据块,哪怕被覆盖了,也不影响之前快照保存的数据了。

    到这一步,看上去挺完美,实际上存在一个问题: 如果元数据特别大怎么办?对于海量庞大的文件系统,元数据量可能到GB级别。如果复制的话,时间上仍然太多。

    我们可以回头想想,实际上元数据可以看做指针,指向具体存储的位置。我们复制到元数据,相当于复制了一堆指针。现在元数据太多了,我们能不能把这个元数据链的指针给复制了?当然可以,元数据有个根入口块,或者称为Super Block,这个块是固定不变的,里面存放有指向下一级元数据链块的指针。

    那么操作系统每次载入元数据的时候,都需要从这个地址读入Super Block,从而一层一层的遍历。

    基于物理卷的快照

    基于物理卷的快照比文件系统快照要简单得多。因为LUN一般在底层磁盘上是恒定的,不像文件系统一样可以随机细粒度的分布。所以可以认为LUN的元数据就是在底层磁盘的起始和结束地址。这样在快照的时候,需要复制的元数据就更少了,但是完成了以后,需要按照一定粒度来做CoFW或者RoFW,还需要记录更多数据映射指针,就比较难受了。

    对于实现了块级虚拟化的系统如NetApp、XIV、3PAR等,它们的LUN在底层位置是不固定的,LUN就相当于一个文件,存在元数据链来进行映射管理的维护,所以这些系统实现快照的原理与文件系统快照类似。

    基于物理卷的快照,相当于给物理卷增加了“卷扇区映射管理系统”。在底层卷实现快照,可以减轻文件系统的负担。

    卷扇区方都是用LBA来编号的,实现快照的时候,程序首先保留一张初始LBA表,每当有新的写入请求的时候,重定向到另一个地方,并在初始的LBA表中做好记录,比如:

    原始LBA:卷A的10000号,映射到LBA:卷B的100号。

    值得说明的是,文件系统无法感知重定向,文件系统在它的映射图里面还是记录了原始的LBA地址。此时如果来了新的写IO,有两种方式一种是Write Redirect,另外一种是Copy on Write

    所谓Write Redirect就是将文件系统的读写请求,重定向到卷B,这样每次IO其实都会查找快照映射表,降低了性能。所以引入了Copy on Write。

    所谓Copy on write,就是当写请求来的时候,先把原来的扇区的数据复制一份到空闲卷,然后将新数据写入原卷。不过这种复制操作只发生在原卷某个或者快照之后从未更新过的块上面,若是某个块在快照之后更新过了,说明之前的数据已经转移走了,可以放心的覆盖。

    所以Copy on Write实际上是让旧数据先占着位置,等新数据来了以后先把原来的数据复制走,再更新,而且一旦更新了一次,可以直接覆盖。

    带来的好处是 ,原卷上的数据随时是最新的状态,每个IO可以直接访问原卷的地址,而不需要遍历映射表。


    RoFW方式与CoFW方式比较

    不管是RoFW还是CoFW,只要上层向快照后没有更新过的数据块进行写,都需要占用一个新的块。所以如果将所有扇区块都更新了,新卷的容量和原来的容量应该一样大,但是通常不会覆盖百分之百,所以只要预设原容量的30%即可。

    IO资源消耗:

    • CoFW方式下,如果要更新一个从未更新的块,需要复制出来,写到新卷,然后覆盖原来的块,需要一次读,2写

    • RoFW方式下,只需要一次写即可,也就是直接重定向到新卷上,然后更新映射图中的指(在内存中进行)。

    所以RoFW相对CoFW方式在IO资源消耗与IO延迟上有优势。

    由于只有首次覆盖才会Copy或者Redirect,那么如何区分是否是首次覆盖呢?可以使用记录表(文件级快照)或者位图(卷快照)来记录每个块是否被覆盖过。

    对于读IO:

    • CoFW:因为总是更新的源卷,所以源卷总是代表最新的状态,所以任何读IO都会发到源来执行。

    • RoFW:需要首先查询位图来确定目标地址是否被处理过,如果是,则转向重定向后的地址。

    RoFW会影响读性能,因为重定向出去以后,数据块排布都是乱的,如果把快照删除后,不好清理战场,严重影响后续的读写性能。

    综合来说,RoFW比较吃计算资源,而CoFW比较耗费IO资源。我们知道其实一般来说读比写多,当覆盖第二次以后:

    • CoFW不会发生IO惩罚,读IO一直没有惩罚

    • 对于RoFW,就算完全被Redirect过了,对于读或者写IO,均需要遍历位图,永远无法摆脱对计算资源的消耗。

    尤其在LUN卷级快照下,原本卷在底层磁盘分布式是定死的,寻址非常迅速。但是RoFW引入了,LUN的块随机定向到其他的空间的,所以需要记录新的指针链,而且被写出的块不是连续排列的。对性能影响非常明显的。

    绝大多数的厂商使用的还是CoFW,但是一些本来就使用LUN随机分块分布模式的存储系统比如XIV、NetApp等,都使用RoFW,因为原本其LUN的元数据链就很复杂,而且原来就是随机分布的,RoFW的后遗症对它们反而是正常的。


    快照的意义

    快照所保存下来的卷数据,相当于一次意外掉电之后卷上的数据。怎么理解?

    上层应用和文件系统都有缓存,文件系统缓存的是文件系统的元数据和文件的实体数据。每隔一段时间(Linux一般是30s)批量Flush到磁盘上。而且不是只做一次IO,有可能会对磁盘做多次IO。如果快照生成的时间恰恰在这连续的IO之间,那么此时卷上的数据实际上有可能不一致。

    文件系统的机制是先写入数据到磁盘,元数据保存在缓存里面,最后再写元数据。因为如果先写元数据,突然断电了,那么元数据对应的僵尸扇区的数据会被认为是文件的,显然后果不堪设想。

    总之,快照极可能生成不一致的数据。

    那么为什么还要用快照呢?

    • 因为快照可以任意生成,而且占用的空间又不大,更重要的是可以在线恢复,不用停机只需要在内存中做IO重定向,那么上层访问就变成以前时间点的数据了。

    但是快照会存在不一致的问题,如何解决?既然快照无异于一次磁盘掉电,那么利用快照恢复数据之后,文件系统可以进行一致性检查,数据库也会利用日志来使数据文件处于一致。

    另外,现在主流的快照解决方案是在主机上安装一个代理执行快照前,先通知文件系统将缓存中的数据全部Flush到磁盘,然后立即生成快照。

    • 快照还可以预防数据逻辑损坏,也就是比如T1时刻,做了快照,T2时刻,因为管理员操作不当,误删了一个文件,T3的时候,进行了全备份操作。此时,这个文件看似永久丢失了,其实,此时还可以通过快照恢复这个文件。

    • 快照还可以降低一致性备份的窗口。如果没有快照,要对某个卷进行一致性备份,需要暂停写IO,所以备份窗口比较长,需要等待备份停止以后才能继续写IO。使用快照的话,只需要复制元数据,然后在后台进行备份,降低了影响。

    • 备份完毕以后,如何能检测数据是否是真一致的?若没有快照,需要将备份数据恢复到独立的物理空间里面,挂载到另一台机器上。有了快照,可以将快照直接挂载到另一台主机,避免了数据物理恢复导入的过程。

    卷Clone技术

    快照类似于某时刻的影子,而克隆则是某时刻的实体。每时刻生成了一份可写的快照,就叫对卷某时刻的一份Clone。然后这份Clone内容每被修改的部分是与源卷共享的,所以源卷没了,则Clone就没了,所以叫虚拟Clone。如果把数据复制出来,生成一个独立的卷,则就叫Split Clone,也就是可以得到实Clone

    卷Clone最大的好处在于可以瞬间生成针对某个卷可写的镜像,而不管卷的数据量有多大。数据备份系统的基本要件:

    • 备份对象:需要进行备份的备份源。

    • 备份目的:磁盘、磁带等介质

    • 备份通路:网络

    • 备份执行引擎:备份软件

    • 备份策略

    下面重点介绍一下备份目的、备份通路、备份引擎等技术细节。

    备份目的地

    备份到本地磁盘

    备份目的地是在本地的磁盘,则只需要将数据备份到本地磁盘的另外分区中或者目录中。这样不需要网络,缺点是对备份对象自己的性能影响大。还会对其他的IO密集型程序造成影响。

    这种方式一般用于不关键的应用和非IO密集型应用。比如E-mail,对转发实时性要求不高。

    备份到SAN上的磁盘

    备份到SAN上的磁盘,就是将需要备份的数据,从本次磁盘读入内存,再写入HBA卡缓冲区,然后再通过线缆传送到磁盘阵列上。

    • 优点:只耗费SAN公用网络带宽,对主体影响小。

    • 缺点:对公共网络资源和出口带宽有影响。


    备份到NAS目录

    备份到NAS目录就是将数据备份到远程共享目录中。比如window中常用的文件夹共享。因为数据一般是通过以太网进行传递的,占用了前端的网络带宽,但是相对廉价,不需要部署SAN。

    备份到磁带库

    现在出现一种虚拟磁带库,即用磁盘来模拟磁带,对主机来说看到的是一台磁带库,实际上是一台磁盘阵列,主机照样使用磁带库一样来使用虚拟磁带库。要做到这点,就必须在磁盘阵列的控制器上做虚拟化操作,也就是实现协议转换器的作用。可以带来了的好处是:

    • 速度提升

    • 避免机械手这种复杂的机械装置

    • 管理方便


    信息生命周期管理

    将使用不频繁的数据移动到低速、低成本的设备上。比如只给视频应用分配20GB的空间,但是报告有500GB的空间,剩下的空间是在在磁带库上。

    分级存储

    1. 一线磁盘阵列

    2. 二线虚拟磁带库:近期不会被频繁调度。利用大容量SATA盘,性能适中的控制器。

    3. 带库或者光盘库:几年甚至几十年都不访问到。

    备份通路

    本地备份

    数据流向:本地磁盘—>总线—>磁盘控制器—>总线—>内存—>总线—>磁盘控制器—>总线—>本地磁盘。

    也即数据从本地磁盘出发,经过本地的总线 和内存,经过CPU少量控制逻辑代码之后,流回本地磁盘。

    通过前端网络备份

    经过前端网络备份的数据流向是:本地磁盘—>总线—>磁盘控制器—>总线—>内存—>总线—>以太网卡—>网线—>以太网—>网线—>目标计算机的网卡—>总线—>内存—>总线—>目标计算机的磁盘。

    数据从本地磁盘出发,流经本地总线和内存,然后流到本地网卡,通过网络传送到目标计算机磁盘。

    • 前端网络:服务器接受客户端连接的网络,也就是服务网络,是服务器和客户端连接的必经之路。

    • 后端网络:对客户封闭,客户的连接不用经过这个网络,用与服务器和存储、应用服务器、数据库服务器的连接。可以是SAN,以太网


    通过后端网络备份

    通过后端网络备份的数据流向是:本地磁盘—>总线—>控制器—>总线—>内存—>总线—>后端HBA卡—>线缆—>后端交换设备—>线缆—>备份目的的后端网卡—>总线—>内存—>磁盘。

    LAN Free备份

    备份的时候不经过LAN,也就是不流经前端网络,也叫Frontend Free。这样的好处是不耗费前端网络的带宽,对客户终端接受服务器的数据不影响。

    因为前端网络一般是是慢速网络 ,资源非常珍贵。无论是本地、还是网络,都需要待备份的服务器付出代价,即需要读取备份源数据到自身的内存,然后从内存写入备份的目的地。对主机CPU、内存都有浪费。能否不消耗服务器的性能呢?可以,使用Server Free备份。

    Server Free备份

    Server Free备份的时候,数据不用流经服务器的总线和内存,消耗极少,甚至不消耗主机资源。备份源和备份目标都不会在服务器上,因为如果在服务器上,数据从磁盘读出,要流将总线,然后到内存,这就不是Server Free?那怎么做呢?

    • SCSI的扩展复制命令,将这些命令发送给支持Server Free的存储设备,然后这些设备会提取自身的数据写入备份目的设备,而不是发送给主机。

    • 使用另一台专门做数据移动的新服务器,来代替原来服务器移动备份数据。释放运算压力很大的生产服务器。


    备份策略

    备份引擎:决定整个数据备份系统应该怎么运作,备份那些内容,什么时候开始备份,备份时间有没有限制等的策略。


    备份服务器

    备份引擎以什么形式体现呢?当然是运行在主机上的程序,所以需要一台计算机来做引擎的执行者。

    那么备份服务器的备份策略和规则,怎么传给整个数据备份系统中的服务器?通过以太网,因为以太网扩展性好,适合节点间通信。相对于以太网,SAN更适合传送大量的数据。所以常用前端网络来连接待备份的服务器和备份服务器,因为备份策略的数据包不多。

    备份服务器如何与每个待备份的服务器建立通话?怎么通话?规则怎么定?需要待备份服务器上运行一个代理程序,专门解释备份服务器发来的命令,根据命令作出动作。

    这个运行在待备份服务器上的程序,就叫备份代理,监听端口,接收备份服务器发来的命令。

    介质服务器

    若数据备份系统中有一台SCSI磁带机,且多台主机想备份到这台磁带机上。而SCSI磁带机只能同时接到一台主机上。

    那么怎么办呢?可以引入一台专门的计算机,只能由这台计算机来操作磁带机。

    需要备份的计算机通过以太网将数据发给这台掌管磁带机的计算机,然后写给磁带机。

    这样磁带机成为了公用设备,而在整个系统中,只有一台计算机能掌管备份目标,它就类似于一个代理,代理其他服务器执行备份。我们把它称为介质服务器。还有一个问题,如果有多台服务器向介质服务器发出请求,怎么办?当然需要一个协调员,也就是备份服务器,它可以指挥安装在待备份服务器的代理,让每台服务器按照顺序有条理的使用介质服务器提供的备份介质进行备份。

    三种备份方式

    完全备份:不管文件多大,只要要备份,都需要将文件都备份下来。

    差量备份:只备份从上次完全备份以来发生变化的数据。差量备份要求必须做一次完全备份,作为差量的基准点

    增量备份:只备份从上次备份以来这份文件中变化过的数据。不管是全备、差备,还是增量备份。

    对于数据库的备份,备份软件想知道每个数据文件的变化是不可能的,因为数据库文件内部格式非常复杂,只有自己才能分析和检测出来。所以数据库管理软件有自己的备份工具。第三方备份软件只能调用数据库软件自身提供的命令。

    • 链接:

      https://www.jianshu.com/p/b14ece444676

    • 版权由原作者所有,转载请注明来源和出处

    --end--
    
    扫描下方二维码
    
    添加好友,备注【交流】
    可私聊交流,也可进资源丰富学习群
    
    
    展开全文
  • ORACLE备份分为物理备份和逻辑备份两种。物理备份就是转储ORACLE物理文件(如数据文件、控制文件、归档日志文件等),一旦数据库发生故障,可以利用这些文件进行还原;逻辑备份就是对数据库对象(如用户、表、存储过程...
  • 城商行异地灾难备份技术方案.docx
  • 拨号备份技术在路由器的应用.pdf
  • 弥补SQL Sever备份缺陷自动差异备份技术探索.pdf
  • Oracle数据库备份技术.pdf
  • 数据备份技术方案.docx
  • 数据备份技术剖析.docx
  • 网络存储备份技术.ppt

    2021-10-07 21:14:20
    网络存储备份技术.ppt
  • 常用档案数据备份技术和方法 摘要 随着信息时代的到来 大数据的产生是经济时代的标志 越来越多的行 业走向了电子信息办公的道路上 公司和企业的各种的档案的数据备份是容灾的前提一旦出现意外的情况将会导致无法估计...
  • 软件安全技术与备份技术.ppt
  • 该文档详细介绍了oracle数据库备份的原理以及其具体的实现方式。
  • ORACLE数据库备份技术探讨.pdf

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 284,339
精华内容 113,735
关键字:

备份技术