精华内容
下载资源
问答
  • 备份到磁盘解决方案改善了备份和恢复操作的性能,满足南京市地税的减小备份窗口的要求,实现更高级别的可用性,以及通过减少用户需要管理的介质的数量达到较低总体拥有成本。这些为业务提供了更好的服务等级,并导入...
  • hive数据备份方案

    千次阅读 2019-08-23 16:21:44
    hive数据备份方案 非风区表的备份 create table t_copy as select * from t_temp; 分区表的复制 create table tablepark_test like tablepark; set hive.exec.dynamic.partition.mode=nonstrict insert overwrite ...

    hive数据备份方案

    非分区表的备份

    create table t_copy as select * from t_temp;
    

    分区表的备份

    第一种方式

    创建表结构相同的备份表

    create table tablepark_test like tablepark;
    

    设置动态分区模式

    set hive.exec.dynamic.partition.mode=nonstrict;
    

    备份

    insert overwrite table tablepark_test partition(year) select * from tablepark;
    

    其中year是分区字段,这种方式因为要走mapreduce,所以效率比较低

    第二种方式

    msck修复分区
    我们可以先复制出一张表结构和tablepark一样的表,然后将tablepark表目录下的数据拷贝到tablepark_test,然后使用分区表的msck指令去修复重新生成分区.

    create table tablepark_test like tablepark;
    hdfs dfs -cp /user/hive/warehouse/ods_ticket_data.db/tablepark/* /user/hive/warehouse/ods_ticket_data.db/tablepark_test/
    show partitions tablepark_test; //这时候查看分区还没有值
    msck repair table tablepark_test;	//修复分区,将存在于HDFS上但不在metastore上的分区元信息添加到metastore
    show partitions tablepark_test;	//这时候查看分区就有值了
    

    注意:分区的目录结构必遵循 /partition_name=partition_value/结构,否则msck无法自动添加分区。

    展开全文
  • 重要的数据必须备份,并且必须实时备份,否则一旦出现意外情况,将会给服务器文件安全带来巨大灾难。那么,如何备份服务器文件呢?下面就一起来了解一下
  • 交通行业企业数据备份方案.docx
  • 企业业务网络数据备份方案
  • 几种常见的数据备份方案

    万次阅读 2014-10-31 14:41:40
    最近一直在使用木浪科技的多备份进行网站的备份,这是一款全新的互联网产品,感觉在便捷性和有效性方面都好于传统的数据备份方案。向大家推荐。 今天,我们不了多备份,而是想和大家简单聊聊常见的数据备份方案。 ...

    最近一直在使用木浪科技的多备份进行网站的备份,这是一款全新的互联网产品,感觉在便捷性和有效性方面都好于传统的数据备份方案。向大家推荐。

    今天,我们不了多备份,而是想和大家简单聊聊常见的数据备份方案。

     

      综述 

     

      Host-Based备份方式

     

      Host-Based是传统的数据备份的结构这种结构中磁带库直接接在服务器上,而且只为该服务器提供数据备份服务。在大多数情况下,这种备份大多是采用服务器上自带的磁带机,而备份操作往往也是通过手工操作的方式进行的。 

     

      Host-Based备份结构的优点是数据传输速度快,备份管理简单;缺点是不利于备份系统的共享,不适合于现在大型的数据备份要求。 

     

      LAN-Based备份方式

     

      LAN-Based备份,在该系统中数据的传输是以网络为基础的。其中配置一台服务器作为备份服务器,由它负责整个系统的备份操作。磁带库则接在某台服务器上,在数据备份时备份对象把数据通过网络传输到磁带库中实现备份的。 

     

      LAN-Based备份结构的优点是节省投资、磁带库共享、集中备份管理;它的缺点是对网络传输压力大。 

     

      LAN-Free备份方式

     

      LAN-FreeServer-Free的备份系统是建立在SAN(存储区域网)的基础上的,其结构如下图所示。基于SAN的备份是一种彻底解决传统备份方式需要占用LAN带宽问题的解决方案。它采用一种全新的体系结构,将磁带库和磁盘阵列各自作为独立的光纤结点,多台主机共享磁带库备份时,数据流不再经过网络而直接从磁盘阵列传到磁带库内,是一种无需占用网络带宽 (LAN-Free) 的解决方案。 

     

      目前随着SAN技术的不断进步,LAN-Free的结构已经相当成熟,而Server-Free的备份结构则不太成熟。 

     

      LAN-Free的优点是数据备份统一管理、备份速度快、网络传输压力小、磁带库资源共享;缺点是投资高。 

     

      利用IBM Tivoly Storage Manager软件,配合IBM LTO等磁带库产品,可以实现以上各种备份方式。 

     

          数据备份方式的选择 

     

      目前数据备份主要方式有:LAN 备份、LAN Free备份和SAN Server-Free备份三种。LAN 备份针对所有存储类型都可以使用, LAN Free备份和SAN Server-Free备份只能针对SAN架构的存储。 

     

      基于LAN备份 

     

      传统备份需要在每台主机上安装磁带机备份本机系统,采用LAN备份策略,在数据量不是很大时候,可采用集中备份。一台中央备份服务器将会安装在 LAN 中,然后将应用服务器和工作站配置为备份服务器的客户端。中央备份服务器接受运行在客户机上的备份代理程序的请求,将数据通过 LAN 传递到它所管理的、与其连接的本地磁带机资源上。这一方式提供了一种集中的、易于管理的备份方案,并通过在网络中共享磁带机资源提高了效率。 

     

      LAN-Free备份 

     

      由于数据通过LAN传播,当需要备份的数据量较大,备份时间窗口紧张时,网络容易发生堵塞。在SAN环境下,可采用存储网络的LAN-Free 备份,需要备份的服务器通过SAN连接到磁带机上,在LAN-Free备份客户端软件的触发下,读取需要备份的数据,通过SAN备份到共享的磁带机。这种独立网络不仅可以使 LAN 流量得以转移,而且它的运转所需的 CPU 资源低于 LAN 方式,这是因为光纤通道连接不需要经过服务器的 TCP/IP 栈,而且某些层的错误检查可以由光纤通道内部的硬件完成。在许多解决方案中需要一台主机来管理共享的存储设备以及用于查找和恢复数据的备份数据库。 

     

      SAN Server-Free备份 

     

      LAN Free备份对需要占用备份主机的CPU资源,如果备份过程能够在SAN内部完成,而大量数据流无需流过服务器,则可以极大降低备份操作对生产系统的影响。SAN Server-Free备份就是这样的技术。 

     

      目前主流的备份软件,如IBM Tivoli Veritas,均支持上述三种备份方案。三种方案中,LAN备份数据量最小,对服务器资源占用最多,成本最低;LAN free备份数据量大一些,对服务器资源占用小一些,成本高一些;SAN Server-free备份方案能够在短时间备份大量数据,对服务器资源占用最少,但成本最高。中小客户可根据实际情况选择。 

     

      传统备份:黔驴技穷无奈何 

     

      在传统的备份模式下,每台主机都配备专用的存储磁盘或磁带系统,主机中的数据必须备份到位于本地的专用磁带设备或盘阵中。这样,即使一台磁带机 (或磁带库)处于空闲状态,另一台主机也不能使用它进行备份工作,磁带资源利用率较低。另外,不同的操作系统平台使用的备份恢复程序一般也不相同,这使得备份工作和对资源的总体管理变得更加复杂。 

     

      后来,产生一种克服专用磁带系统利用率低的改进办法:即磁带资源由一个主备份/恢复服务器控制,而备份和恢复进程由一些管理软件来控制。主备份服务器接收其他服务器通过局域网或广域网发来的数据,并将其存入公用磁盘或磁带系统中。这种集中存储的方式极大地提高了磁带资源的利用效率。但它也存在一个致命的不足:网络带宽将成为备份和恢复进程中的潜在瓶颈。 

     

         有没有一种更先进的解决方案,在备份的时候尽可能减小对系统资源的消耗,同时又保证系统的高可用性和灵活性呢

     

      LAN-free备份:平平常常第一招儿 

     

      办法之一采用LAN-free技术。所谓LAN-free,是指数据不经过局域网直接进行备份,即用户只需将磁带机或磁带库等备份设备连接到 SAN中,各服务器就可把需要备份的数据直接发送到共享的备份设备上,不必再经过局域网链路。由于服务器到共享存储设备的大量数据传输是通过SAN网络进行的,局域网只承担各服务器之间的通信(而不是数据传输)任务。 

     

      2种常见的实施手段 

     

      LAN-free有多种实施方式。通常,用户都需要为每台服务器配备光纤通道适配器,适配器负责把这些服务器连接到与一台或多台磁带机(或磁带库)相连的SAN上。同时,还需要为服务器配备特定的管理软件,通过它,系统能够把块格式的数据从服务器内存、经SAN传输到磁带机或磁带库中。 

     

      还有一种常用的LAN-free实施办法,在这种结构中,主备份服务器上的管理软件可以启动其他服务器的数据备份操作。块格式的数据从磁盘阵列通过SAN传输到临时存储数据的备份服务器的内存中,之后再经SAN传输到磁带机或磁带库中。 

     

      LAN-free备份不足之处 

     

      “人无完人”,LAN-free技术也存在明显不足。首先,它仍旧让服务器参与了将备份数据从一个存储设备转移到另一个存储设备的过程,在一定程度上占用了宝贵的CPU处理时间和服务器内存。还有一个问题是,LAN-free技术的恢复能力差强人意,它非常依赖用户的应用。许多产品并不支持文件级或目录级恢复,映像级恢复就变得较为常见。映像级恢复就是把整个映像从磁带拷回到磁盘上,如果您需要快速恢复某一个文件,整个操作将变得非常麻烦。 

     

      此外,不同厂商实施的LAN-free机制各不相同,这还会导致备份过程所需的系统之间出现兼容性问题。 

     

      LAN-free的实施比较复杂,而且往往需要大笔软、硬件采购费。 

     

          无服务器备份:锦上添花第二招儿 

     

      另外一种减少对系统资源消耗的办法是采用无服务器(Serverless)备份技术。它是LAN-free的一种延伸,可使数据能够在SAN结构中的两个存储设备之间直接传输,通常是在磁盘阵列和磁带库之间。这种方案的主要优点之一是不需要在服务器中缓存数据,显著减少对主机CPU的占用,提高操作系统工作效率,帮助企业完成更多的工作。 

     

      2种常见的实施手段 

     

      与LAN-free一样,无服务器备份也有几种实施方式。通常情况下,备份数据通过名为数据移动器的设备从磁盘阵列传输到磁带库上。该设备可能是光纤通道交换机、存储路由器、智能磁带或磁盘设备或者是服务器。数据移动器执行的命令其实是把数据从一个存储设备传输到另一个设备。实施这个过程的一种方法是借助于SCSI-3的扩展拷贝命令,它使服务器能够发送命令给存储设备,指示后者把数据直接传输到另一个设备,不必通过服务器内存。数据移动器收到扩展拷贝命令后,执行相应功能。 

     

      另一种方法就是利用网络数据管理协议(NDMP)。这种协议实际上为服务器、备份和恢复应用及备份设备等部件之间的通信充当一种接口。在实施过程中,NDMP把命令从服务器传输到备份应用中,而与NDMP兼容的备份软件会开始实际的数据传输工作,且数据的传输并不通过服务器内存。NDMP的目的在于方便异构环境下的备份和恢复过程,并增强不同厂商的备份和恢复管理软件以及存储硬件之间的兼容性。 

     

      无服务器备份的优势 

     

      无服务器备份与LAN-free备份有着诸多相似的优点。如果是无服务器备份,源设备、目的设备以及SAN设备是数据通道的主要部件。虽然服务器仍参与备份过程,但负担大大减轻,因为它的作用基本上类似交警,只用于指挥,不用于装载和运输,不是主要的备份数据通道。 

     

      无服务器备份技术具有缩短备份及恢复所用时间的优点。因为备份过程在专用高速存储网络上进行,而且决定吞吐量的是存储设备的速度,而不是服务器的处理能力,所以系统性能将大为提升。此外,如果采用无服务器备份技术,数据可以数据流的形式传输给多个磁带库或磁盘阵列。 

     

      至于缺点,虽然服务器的负担大为减轻,但仍需要备份应用软件(以及其主机服务器)来控制备份过程。元数据必须记录在备份软件的数据库上,这仍需要占用CPU资源。 

     

      与LAN-free一样,无服务器备份可能会导致上面提到的同样类型的兼容性问题。而且,无服务器备份可能难度大、成本高。最后,如果无服务器备份的应用要更广泛,恢复功能方面还有待更大改进。 

     

      平衡利弊再定夺 

     

      前面我们讨论了光纤通道环境下的LAN-free和无服务器备份技术,由于有些结构集成了基于IP的技术,譬如iSCSI,特别是随着将来IP存储技术在存储网络中占有的强劲优势,LAN-free和无服务器备份技术应用的解决方案将会变得更为普遍。 

     

      LAN-free和无服务器备份并非适合所有应用。如果您拥有的大型数据存储库必须7×24随时可用,无服务器备份或许是不错的选择。但必须确保您已经清楚恢复过程需要多长时间,因为低估了这点会面临比开始更为严重的问题。 

     

      另一方面,如果您拥有的大小适中的数据库可以容忍一定的停机时间,那么传统的备份和恢复技术也许是您比较不错的选择。

    展开全文
  • IBM企业数据备份方案

    2010-03-13 16:20:37
    IBM企业数据备份方案IBM企业数据备份方案IBM企业数据备份方案IBM企业数据备份方案IBM企业数据备份方案
  • 创业计划书-企业业务网络数据备份方案
  • 医院信息系统的安全与数据备份方案.docx
  • 数据备份技术与灾难恢复,多角度,多层面,多场景,体系化介绍数据备份与恢复技术,适合数据库开发人员和DBA,是不可多得的资料
  • 企业数据备份方案企业数据备份方案企业数据备份方案企业数据备份方案企业数据备份方案
  • 存储备份解决方案 数据库系统 备份解决方案 存储备份解决方案 目录 一 现场环境 3 二 需求 3 三 方案原理 4 四 方案描述 5 图示 5 4.1 双机热备 5 4.2 备份 6 4.3 恢复 6 五 方案效果 6 六 软件配置 8 七 软件简介 8...
  • 企业业务网络数据备份方案-精品创业书模板.rar
  • 在整个备份系统中,数据备份管理系统软件的地位尤为重要,由于用户对全自动备份和集中式数据备份管理、在线式检索等的要求,浙江地税的备份管理软件采用了CA公司的BrightStor ARCserve 2000 Backup for Windows系列...
  • 企业业务网络数据备份方案-精品创业书模板.doc
  • 第1章 数据备份方案建议综述 1 第2章 项目概述和需求分析 2 2.1 项目概述 2 2.2 需求分析 2 2.2.1 需要备份的系统 2 2.2.2 数据存储和备份现状 3 2.2.3 备份需求分析 3 2.3 导致数据失效的原因分析 5 2.3.1 计算机...
  • 2017老男孩Linux集群全网服务器数据备份方案超细实战视频课程
  •  经典数据中心容灾备份方案汇总   【】Juniper文档:优化并保护你的数据中心 【】保护数据中心的RSA数据丢失防护方案 【】思科数据中心容灾第三部分 【】数据中心及双机备份解决方案 ...
  • 实现数据备份并不一定都需要资金投入。当数据重要性不高,系统简单,而且没有自动化和长期保存的需求时,完全可以利用现有的资源,搭建一个数据备份系统,而无需任何的资金投入。
  • 数据备份&数据迁移方案

    千次阅读 2020-01-04 17:38:19
    数据备份方式 物理备份 冷备:cp、tar、… 逻辑备份 mysqldump //备份 mysql //恢复 物理备份及恢复 备份 ] cp -r /var/lib/mysql 目录/mysql.bak ] tar -zcvf /root/mysql.tar.gz /var/...

    数据备份方式

    • 物理备份
      • 冷备:cp、tar、…
    • 逻辑备份
      • mysqldump //备份
      • mysql //恢复

    物理备份及恢复

    备份
    ] cp -r /var/lib/mysql 目录/mysql.bak 
    ] tar -zcvf /root/mysql.tar.gz /var/lib/mysql/*
    
    恢复
    ] cp -r 目录/mysql.bak /var/lib/mysql/
    ] tar -xvf /root/mysql.tar.gz -C /var/lib/mysql/
    ] chown -R mysql:mysql /var/lib/mysql
    

    逻辑备份

    数据备份策略

    • 完全备份:备份所有数据源
    • 增量备份:备份上次备份后,所有新产生的数据
    • 差异备份:备份上次完全备份后,所有新产生的数据

    完全备份和恢复

    ] mysqldump -uroot -p密码 库名 > 目录/文件.sql #备份
    ] mysqldump -uroot -p密码 -A|--all-databases > 目录/文件.sql #备份所有库
    ] mysqldump -uroot -p密码 库名 表名 > 目录/文件.sql #备份表
    ] mysqldump -uroot -p密码 -B 数据库1 数据库2 > 目录/文件.sql #备份多个数据库
    ] mysql -uroot -p密码 库 < 目录/文件.sql #恢复
    

    增量备份

    1.binlog日志文件

    1)什么是binlog日志?

    • 二进制日志
    • MySQL服务日志文件的一种
    • 记录除查询之外所有的SQL命令
    • 可用于数据备份和恢复
    • 配置mysql主从同步的必要条件

    2)启用binlog日志

    配置项用途
    server_id=数字指定id值(1-255)
    log_bin[=目录/文件]启用binlog日志
    max_binlog_size=数值m指定日志文件容量,默认1G
    ] vim /etc/my.cnf
    [mysqld]
    log_bin
    server_id=50   #启用binlog必须指定server_id
    

    3)binlog相关文件
    主机名-bin’.index //索引文件
    主机名-bin.000001 //第一个二进制日志
    主机名-bin.000002 //第二个二进制日志

    4)手动生成新的日志文件
    四个方法:

    ] systemctl restart mysqld
    mysql> flush logs;
    ] mysql -uroot -p密码 -e 'flush logs'
    ] mysqldump -uroot -p密码 --flush-logs 库 > 目录/文件
    

    5)清理日志
    删除指定编号之前的binlog日志文件:

    mysql> purge master logs to "binlog文件名";
    

    删除所有的binlog日志,重建新日志:

    mysql> reset master;
    

    6)相关命令

    mysql> show master status;	#查看日志信息
    

    2.使用binlog日志文件恢复数据

    命令格式

    ] mysqlbinlog [选项] binlog日志文件   #将文件内容输出到屏幕
    ] mysqlbinlog [选项] binlog日志文件 | mysql -uroot -ppassword	#恢复数据,不加选项时恢复全部数据
    选项:
    --start-position=数字	#指定起始偏移量
    --stop-position=数字		#指定结束偏移量
    --start-datetime="yyyy-mm-dd hh:mm:ss"   #起始时间
    --stop-datetime="yyyy-mm-dd hh:mm:ss"	 #结束时间
    

    binlog日志记录格式

    • row行模式
    • statement报表模式
    • mixed混合模式
    mysql> show variables like "binlog_format"; #查看日志文件记录格式
    
    vim /etc/my.cnf	   #修改日志文件记录格式,mixed模式可以通过命令查看偏移量和时间
    binlog_format="mixed"
    

    使用binlog日志文件恢复指定范围内的数据

    查看要恢复的数据所在的偏移量和时间:

    mysqlbinlog binlog日志文件 
    

    内容解析:

    • at 数字 #数字为偏移量
    • commit #代表’回车’,查找结束偏移量或时间需要包括一个commit

    恢复数据:

    mysqlbinlog 选项 binlog日志文件 | mysql -uroot -ppassword
    例:
    mysqlbinlog --start-position=300 --stop-position=1185 dzh.000002 | mysql -uroot -p123456
    

    3.percona

    常用备份工具的缺点:

    • 物理备份缺点:跨平台性差,备份时间长,冗余备份,浪费存储空间
    • mysqldump缺点:效率低,备份和还原速度慢,锁表

    XtraBackup:

    • 在线热备不锁库表,适合生产环境
    • 由专业组织Percona提供(改进MySQL分支)
    • 主要包括两个组件:xtrabackup(C程序,支持innodb和xtradb),innobackupex(perl脚本封装的xtrabackup,额外支持MyISAM)
    yum -y install percona-xtrabackup-24-2.4.7-1.el7.x86_64.rpm
    which innobackupex
    
    常用选项含义
    - - host主机名
    - - user用户名
    - - port端口号
    - - password密码
    - - databases数据库名
    - -no-timestamp不用日期命名存储备份文件的子目录名
    - -redo-only日志合并
    - -apply-log准备恢复数据
    - -copy-back拷贝数据
    - -incremental 目录名增量备份
    - -incremental-basedir=目录名增量备份时,指定上一次备份数据存储的目录名
    - -incremental-dir=目录名准备恢复数据时,指定增量备份数据存储的目录名
    - -export导出表信息
    --databases="库"
    --databases="库1 库2"
    --databases="库1.表"
    

    1)innobackupex完全备份和恢复
    备份:(备份后数据在指定的目录下)

    innobackupex 选项 目录
    例:
    innobackupex --host 地址 --port 端口号 --user root --password PASSWORD --databases=库 目录名 --no-timestamp  #备份所有数据,不指定库时为备份所有
    

    恢复:

    1. 停止数据库服务
    2. 清空数据目录下的数据
    3. 准备恢复数据
    4. 恢复数据
    5. 修改数据目录下文件的所有者/组为mysql
    6. 启动数据库服务
    7. 管理员登录查看数据
    systemctl stop mysqld   #关闭服务
    rm -rf /var/lib/mysql/*  #清空数据
    yum -y install percona-xtrabackup-24-2.4.7-1.el7.x86_64.rpm  #安装工具
    innobackupex --apply-log 备份文件路径  #准备恢复数据
    innobackupex --copy-back 备份文件路径  #拷贝数据到数据库目录下
    chown -R mysql:mysql /var/lib/mysql/*  #修改权限
    

    2)innobackupex在完全备份恢复某表的所有数据

    表空间
    存储表记录的文件

    1. 删除表空间
    2. 导出表信息
    3. 拷贝表信息文件到数据库目录下
    4. 修改表信息文件的所有者及组用户为mysql
    5. 导入表空间
    6. 删除数据库目录下的表信息文件
    7. 查看表记录
    mysql> alter table 库.表 discard tablespace;	 #删除表空间
    innobackupex --apply-log --export 数据备份目录 #导出表信息
    cp 数据备份目录/数据库名目录/表名.{ibd,exp,cfg} /var/lib/mysql/库名目录/  #cp表信息文件到数据库目录下
    chown -R mysql:mysql /var/lib/mysql/库名目录/  #修改权限
    mysql> alter table 库.表 import tablespace;  #导入表空间
    rm -rf /var/lib/mysql/库名目录/表.{exp,cfg}  #删除表信息文件
    

    3)innobackupex增量备份和恢复

    增量备份:

    1. 判断是否有新数据产生
    2. 有新数据时判断哪些数据是新数据

    备份目录/xtrabackup_checkpoints文件:

    • lsn:日志序列号
    backup_type含义
    full-backuped完全备份
    incremental增量备份
    log-applied已应用(已准备好恢复数据)

    应用实例:

    周一:完全备份

    ] innobackupex --user root --password PASSWORD /allbak --no-timestamp  #备份所有数据
    ] cat /allbak/xtrabackup_checkpoints 
    #lsn:日志序列号
    backup_type = full-backuped
    from_lsn = 0  	    #备份数据开始序列号
    to_lsn = 2880259      #备份数据结尾序列号
    last_lsn = 2880268      #增量备份时,使用此序列号与数据库目录下的ib_logfile进行比对,确定是否有新数据
    compact = 0
    recover_binlog_info = 0
    

    周二:增量备份

    ] innobackupex --user root --password PASSWORD --incremental /new1dir --incremental-basedir=/allbak --no-timestamp
    ] cat /new1dir/xtrabackup_checkpoints 
    backup_type = incremental
    from_lsn = 2880259    #通过上一次备份的结尾确定这一次备份的开始
    to_lsn = 2882360    
    last_lsn = 2882369    #再次进行增量备份时,同样进行比对
    compact = 0
    recover_binlog_info = 0
    

    周三:增量备份

    ] innobackupex --user root --password PASSWORD --incremental /new2dir --incremental-basedir=/new1dir --no-timestamp
    ] cat /new2dir/xtrabackup_checkpoints 
    backup_type = incremental
    from_lsn = 2882360
    to_lsn = 2884453
    last_lsn = 2884462
    compact = 0
    recover_binlog_info = 0
    
    

    增量恢复:

    1. 停止数据库服务
    2. 清空数据库目录下内容
    3. 准备恢复数据(合并日志)
    4. 拷贝数据到数据库目录下
    5. 修改文件所有者/组为mysql
    6. 启动数据库服务
    systemctl stop mysqld
    rm -rf /var/lib/mysql/*
    innobackupex --apply-log --redo-only /allbak  #合并日志
    innobackupex --apply-log --redo-only /allbak --incremental-dir=/new1dir  #合并增量日志
    innobackupex --apply-log --redo-only /allbak --incremental-dir=/new2dir  #合并增量日志
    innobackupex --copy-back /allbak  #拷贝文件
    chown -R mysql:mysql /var/lib/mysql/*
    systemctl start mysqld
    

    4)数据迁移方案

    1. 从服务器安装mysql,启动服务完成初始化,然后stop服务,删除/var/lib/mysql/下的所有文件,为恢复数据做准备

    2. 使用innobackupex工具备份所有数据,并记录当前的binlog日志名和偏移量

    innobackupex  --user root --password PASSWORD  --slave-info  /allbak --no-timestamp  #使用--slave-info参数,备份所有数据,并记录备份数据对应的binlog日志名
    
    1. 将备份文档发送到从服务器
    scp -r /allbak root@slave:
    
    1. 从服务器使用备份文件恢复数据
    2. 启动服务
    3. 查看备份文件中记录的binlog日志信息,配置主从change master to
    ] cat /root/allbak/xtrabackup_info  | grep master11   #master11为当前主服务器的binlog日志前缀
    binlog_pos = filename 'master11.000001', position '7700'
    
    1. stop从服务器的mysqld服务,卸载,安装pxc,启动pxc,此时该服务器依然为线上服务器的从服务器,数据保证了同步,继续配置其余pxc服务器即可
    展开全文
  • 中国移动某分公司数据备份方案.doc 数据备份方案
  • Commvault 数据备份方案

    2011-04-02 23:02:42
    Commvault 数据备份方案,希望给予那些想了解CA的产品的人于一定帮助。
  • 备份系统建立后,备份任务是以全自动方式周期性运行的,(虚拟)备份磁带时按备份策略自动轮回使用的。在没有意外情况下,备份任务不需要管理员干预,管理员只需要定期...数据备份速度:70Mb/s;数据恢复速度:47Mb/s。
  • NAS存储与数据备份方案
  • ORACLE 数据备份与数据恢复方案 摘 要 结合金华电信 IT 系统目前正在实施的备份与恢复策略重点介绍电信业务 计算机管理系统(简称 97 系统)和营销支撑系统的 ORALCE 数据库备份和恢复方 案 Oracle 数据库有三种标准的...
  • (100台的web服务器数据备份哟~备份思路可以是先在本地按日期打包,然后再推到备份服务器backup上),NFS存储服务器同Web服务器,实际工作中就是全部的服务器) 具体要求如下: 1)所有服务器的备份目录必须都为/...

    项目需求:

    每天晚上00点整在web服务器上打包备份系统配置文件,网站程序目录及访问日志通过rsync命令推送备份服务器backup上备份保留。(100台的web服务器数据备份哟~备份思路可以是先在本地按日期打包,然后再推到备份服务器backup上),NFS存储服务器同Web服务器,实际工作中就是全部的服务器)

    具体要求如下:

    1)所有服务器的备份目录必须都为/backup。

    2)要备份的系统配置文件包括但不限于:

                a.定时任务服务的配置文件(/var/spool/cron/root)(适合web和nfs服务器)。

                 b.开机自启动的配置文件(/etc/rc.local)(适合web和nfs服务器)。

                 c.日常脚本的目录 (/server/scripts)(适合web和nfs服务器)。

                 d.防火墙iptables的配置文件(/etc/sysconfig/iptables)。

                 e.自己思考下还有什么需要备份呢?

    3)Web服务器站点目录假定为(/var/html/www)。

    4)Web服务器A访问日志路径假定为(/app/logs)

    5)Web服务器保留打包后的7天的备份数据即可(本地留存不能多于7天,因为太多硬盘会满)

    6)备份服务器上,保留每周一的所有数据副本,保留最近7天的备份数据,同时其它要保留6个月的数据副本。(180天网监要求)

    7)备份服务器上要按照备份数据服务器的内网IP为目录保存备份,备份的文件按照时间名字保存。

    8)需要确保备份的数据尽量完整正确,在备份服务器上对备份的数据进行检查,把备份的成功及失败结果信息发给系统管理员邮箱中:(完善的系统一定要有告警功能)

    基本备份要求

      已知3台服务器主机名分别为:web01,backup,nfs01,主机信息如下表:

    服务器说明

    外网IP

    内网IP

    主机名

    Nginx web服务器

    10.0.0.8/24

    172.16.1.8/24

    web01

    NFS存储服务器

    10.0.0.31/24

    172.16.1.31/24

    nfs01

    rsync备份服务器

    10.0.0.41/24

    172.16.1.41/24

    backup

    --准备好相应的机器(修改好机器名,关闭iptables,selinux,配置好yum源),并配置好相应的host解析,相同的时间(这里上台机子都已配置完成)

    简单逻辑图

     解题思路

    1)搭建backup服务器。

       a.搭建rsync服务

    2)搭建web服务器。

       1.验证rsync服务能否推送成功。

       2.开发脚本,实现打包,备份,推送,校验,删除。

       3.配置定时任务定时推送,每天0点定时推送。

    3)搭建backup服务器。

    1.实现校验,删除,报警。

    2.配置定时任务每天6点定时执行。

    4)搭建nfs服务器。

       1.验证rsync服务能否推送成功。

       2.开发脚本,实现打包,备份,推送,校验,删除。

       3.配置定时任务定时推送,每天0点定时推送。

    项目实施

    --准备好相应的机器(修改好机器名,关闭iptables,selinux,配置好yum源),并配置好相应的host解析,相同的时间(这里上台机子都已配置完成)

    --host 解析
    
    [root@backup ~]# vim /etc/hosts
    
    127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
    
    ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
    
    192.168.1.222 web01
    
    192.168.1.233 nfs01
    
    192.168.1.244 backup #添加
    
    --使用ntpdate实现时间同步
    
    [root@nfs-01 ~]# yum install ntpdate
    
    [root@nfs-01 ~]# vim ntpdate.sh #脚本复制好用执行一遍让时间一致
    
    #!/bin/bash
    
    ntpdate time.nist.gov
    
    hwclock -w
    
    [root@nfs-01 nfs-01 ~]# crontab -e
    
    * * * * 1 /root/time.sh #每周同步一次

    1、搭建rsync服务端(blackup服务器)

    1.1.安装rsync

    [root@backup ~]# yum install rsync -y

    1.2.修改/etc/xinetd.d/rsync

    [root@backup ~]# vim /etc/xinetd.d/rsync

    1.3.配置/etc/rsyncd.conf(需要手动生成)

    [root@backup ~]# vim /etc/rsyncd.conf

    uid = rsync #rsync以什么用户启动

    gid = rsync #rsync 以什么组启动

    use chroot = no

    max connections = 200 #最大连接数

    timeout = 300 #超时时间

    pid file = /var/run/rsyncd.pid #pid文件路径

    lock file = /var/run/rsync.lock #指定lock文件

    log file = /var/log/syncd.log #日志文件

    [backup]

    path = /backup/ #back目录

    ignore errors #忽略错误

    read only = no #是否字符(若从客户端同步到服务器必须设为no)

    list = no #在否允许列表

    hosts allow = 192.168.1.0/24 #允许的ip端

    auth users = rsync_backup #认证的用户,服务器必须存在这个系统用户

    secrets file = /etc/rsync.password #指定用户密码文件

    #以上配置文件需去除注释才能直接复制,否则报错

    1.4.创建用户,及目录

    [root@backup ~]# useradd -s /sbin/nologin -M rsync

    [root@blackup ~]# mkdir /backup

    [root@backup ~]# chown -R rsync.rsync /backup

    1.5.创建密码文件

    [root@backup ~]# vim /etc/rsync.password

    rsync_backup:123456 #虚拟用户及密码

    [root@backup ~]# chmod 600 /etc/rsync.password #权限必须为600

    1.6.启动,添加开机启动

    [root@backup ~]# rsync --daemon

    [root@backup ~]# ss -antup|grep rsync

    [root@backup ~]# echo "/usr/bin/rsync --daemon">>/etc/rc.local #开机启动

    2.1客户端配置(nfs01)

    [root@nfs-01 ~]# yum install rsync -y

    [root@nfs-01 ~]# mkdir /backup/

    [root@nfs-01 ~]# touch /backup/1.txt #创建个测试文件

    [root@nfs-01 ~]# echo "123456" >/etc/rsync.password #创建密码文件

    [root@nfs-01 ~]# chmod 600 /etc/rsync.password

    [root@nfs-01 ~]# rsync -avz /backup/ rsync://rsync_backup@192.168.1.244/backup --password-file=/etc/rsync.password

    3.1客户端配置(web01)

    [root@web-01 ~]# yum install rsync -y

    [root@web-01 ~]# mkdir /backup/

    [root@web-01 ~]# touch /backup/2.txt

    [root@web-01 ~]# echo "123456" >/etc/rsync.password

    [root@web-01 ~]# chmod 600 /etc/rsync.password

    [root@web-01 ~]# rsync -avz /backup/ rsync://rsync_backup@192.168.1.244/backup --password-file=/etc/rsync.password

    3.2模拟真实生产环境创建些文件

    [root@web-01 ~]# mkdir -p /var/html/www

    [root@web-01 ~]# touch /var/html/www/{1..10}

    [root@web-01 ~]# mkdir -p /app/logs

    [root@web-01 ~]# touch /app/logs/{1..g}

    3.3创建备份脚本

    [root@web-01 ~]# mkdir /server/scripts -p

    [root@web-01 ~]# vim /server/scripts/sh.sh

    #!/bin/bash

    export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin

    ip=(ifconfig eth0|awk -F "[ :]+" 'NR==2{print(ifconfig eth0|awk -F "[ :]+" 'NR==2{print4}') #获取ip

    backpath=/backup/ #备份目录

    name=`hostname` #主机名

    mkdir -p backpath/backpath/ip

    #判断周一

    if [ $(date +%w) -eq 2 ];then

    date="$(date +%F -d "-1day")_week1"

    else

    date="$(date +%F -d "-1day")"

    fi

    cd / #切换到根目录并回车

    tar zcf backpath/backpath/ip/name"′′name""{date}"_sysconfig".tar.gz var/spool/cron/ etc/rc.d/rc.local server/scripts/

    tar zcf backpath/backpath/ip/name"′′name""{date}"_data".tar.gz var/html/www/ #注释掉,nfs服务器不需要备份web数据

    tar zcf backpath/backpath/ip/name"′′name""{date}"_logs".tar.gz app/logs/ #注释掉,nfs服务器不需要备份web数据

    find backpath−typef−name"∗.tar.gz"|xargsmd5sum>backpath−typef−name"∗.tar.gz"|xargsmd5sum>backpath/ip/flag_ip/flag_ip"_"${date} #给文件打标记

    #备份到balackup服务器

    rsync -az $backpath rsync://rsync_backup@192.168.1.244/backup --password-file=/etc/rsync.password

    #删除7天谴数据

    find $backpath -type f -mtime +7|xargs rm -f

    [root@web-01 ~]# crontab -e

    00 00 * * * /bin/sh /server/scripts/sh.sh >/dev/null 2>&1 #添加

    3.4创建定时任务,并将脚本文件复制到其他服务器并修改(nfs01)

    [root@nfs-01 ~]# mkdir -p /server/scripts/

    [root@nfs-01 ~]# vim /server/scripts/sh.sh

    #!/bin/bash

    export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin

    ip=(ifconfig eth0|awk -F "[ :]+" 'NR==2{print(ifconfig eth0|awk -F "[ :]+" 'NR==2{print4}') #获取ip

    backpath=/backup/ #备份目录

    name=`hostname` #主机名

    mkdir -p backpath/backpath/ip

    #判断周一

    if [ $(date +%w) -eq 2 ];then

    date="$(date +%F -d "-1day")_week1"

    else

    date="$(date +%F -d "-1day")"

    fi

    cd / #切换到根目录并回车

    tar zcf backpath/backpath/ip/name"′′name""{date}"_sysconfig".tar.gz var/spool/cron/ etc/rc.d/rc.local server/scripts/

    #tar zcf backpath/backpath/ip/name"′′name""{date}"_data".tar.gz var/html/www/ #注释掉,nfs服务器不需要备份web数据

    #tar zcf backpath/backpath/ip/name"′′name""{date}"_logs".tar.gz app/logs/ #注释掉,nfs服务器不需要备份web数据

    find backpath−typef−name"∗.tar.gz"|xargsmd5sum>backpath−typef−name"∗.tar.gz"|xargsmd5sum>backpath/ip/flag_ip/flag_ip"_"${date} #给文件打标记

    #备份到balackup服务器

    rsync -az $backpath rsync://rsync_backup@192.168.1.244/backup --password-file=/etc/rsync.password

    #删除7天谴数据

    find $backpath -type f -mtime +7|xargs rm -f

    [root@nfs-01 ~]# crontab -e

    00 00 * * * /bin/sh /server/scripts/sh.sh >/dev/null 2>&1 #添加

    设置个就近的时间后查看nfs-01,web-01,能否正常推数据

    [root@backup ~]# ls /backup/

    4、mailx使用外部的SMTP来实现blackup服务器邮件报警

    mailx是一个小型的邮件发送程序

    具体步骤如下:

    4.1、安装

    [root@blackup ~]# yum install mailx

    4.2、编辑配置文件

    [root@blackup ~]# vim /etc/mail.rc #添加如下内容

    set from=xxxx@126.com

    set smtp=smtp.126.com

    set smtp-auth-user=xx@126.com

    set smtp-auth-password=xxx

    set smtp-auth=login

    ---说明

    from:对方收到邮件时显示的发件人

    smtp:指定第三方发邮件的smtp服务器地址

    set smtp-auth-user:第三方发邮件的用户名

    set smtp-auth-password:用户名对应的密码,有些邮箱需要填授权吗

    smtp-auth:SMTP的认证方式,默认是login,也可以改成CRAM-MD5或PLAIN方式

    4.3、测试

    [root@001 ~]# init 6

    [root@001 ~]# mail -s "hesaucaq" xx@qq.com < /etc/passwd

    [root@001 ~]# echo "测试邮件" | mail -s "测试" xxxxx@qq.com

    转自:http://www.cnblogs.com/imweihao/p/7250500.html

    以上已经实现了发邮件功能!!!

    4.4、在(backup)编辑脚本实现报警

    [root@blackup ~]# mkdir -p /server/scripts/

    [root@blackup ~]# cd !$

    脚本如下:

    #!/bin/bash

    export LANG=en

    ip1="192.168.1.222"

    ip2="192.168.1.233" #机器增加需加更多的ip

    logpath=/tmp/flag.log #日志文件地址,后面汇总到这个文件来发送

    #判断周一

    if [ $(date +%w) -eq 2 ];then

    date="$(date +%F -d "-1day")_week1"

    else

    date="$(date +%F -d "-1day")"

    fi

    find /backup/ip1 -name flag_ip1 -name flag_ip1"_"{date}|xargs md5sum -c &>{date}|xargs md5sum -c &>logpath

    find /backup/ip2 -name flag_ip2 -name flag_ip2"_"{date}|xargs md5sum -c &>>{date}|xargs md5sum -c &>>logpath #需更改成ip2和追加

    find /backup/$ip1 -type f -name "*.tar.gz" -a ! -name "*week*" -mtime +180|xargs rm -f

    find /backup/$ip2 -type f -name "*.tar.gz" -a ! -name "*week*" -mtime +180|xargs rm -f #需要更改成ip2

    mail -s "backup`date`" imweihao@126.com < $logpath #汇总到一个文件发送

    [root@blackup scripts]# crontab -e

    10 00 * * * /bin/sh /server/scripts/mail.sh >/dev/null 2>&1 #之间最好错开,如果数据量大的话可能需要时间

    测试:

    设置两个时间点,周一和周二的日期看是否正常,有些时候太会收不到邮件,那是因为被网易的垃圾邮件机制屏蔽了,一会再试,或者发到自己邮箱!

    ---以上已实现多机数据备份及邮件告警如果需要增加机器或者增加备份的数据,在脚本中添加即可

    ---附1:Rsync的命令格式可以为以下六种:

    Rsync的命令格式可以为以下六种:
    rsync [OPTION]... SRC DEST
    rsync [OPTION]... SRC [USER@]HOST:DEST
    rsync [OPTION]... [USER@]HOST:SRC DEST
    rsync [OPTION]... [USER@]HOST::SRC DEST
    rsync [OPTION]... SRC [USER@]HOST::DEST
    rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
    对应于以上六种命令格式,rsync有六种不同的工作模式:
    对应于以上六种命令格式,rsync有六种不同的工作模式:
      1)拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号”:”分隔符时就启动这种工作模式。如:rsync -a /data /backup
      2)使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号”:”分隔符时启动该模式。如:rsync -avz *.c foo:src
      3)使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号”:”分隔符时启动该模式。如:rsync -avz foo:src/bar /data
      4)从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含”::”分隔符时启动该模式。如:rsync -avzP root@172.16.78.192::www /databack
      5)从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含”::”分隔符时启动该模式。如:rsync -avzP /databack root@172.16.78.192::www
      6)列远程机的文件列表。这类似于rsync传输,不过只要在命令中省略掉本地机信息即可。如:rsync -v rsync://172.16.78.192/www
    rsync参数的具体解释如下:

    正常情况下会使用 -avz相当与-vzrtopgD1,表示同步时文件和目录属性不变

    -v, --verbose 详细模式输出
    -q, --quiet 精简输出模式
    -c, --checksum 打开校验开关,强制对文件传输进行校验
    -a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD
    -r, --recursive 对子目录以递归模式处理
    -R, --relative 使用相对路径信息
    -b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
    --backup-dir 将备份文件(如~filename)存放在在目录下。
    -suffix=SUFFIX 定义备份文件前缀
    -u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件。(不覆盖更新的文件)
    -l, --links 保留软链接
    -L, --copy-links 想对待常规文件一样处理软链结
    --copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结
    --safe-links 忽略指向SRC路径目录树以外的链结
    -H, --hard-links 保留硬链结
    -p, --perms 保持文件权限
    -o, --owner 保持文件属主信息
    -g, --group 保持文件属组信息
    -D, --devices 保持设备文件信息
    -t, --times 保持文件时间信息
    -S, --sparse 对稀疏文件进行特殊处理以节省DST的空间
    -n, --dry-run现实哪些文件将被传输
    -W, --whole-file 拷贝文件,不进行增量检测
    -x, --one-file-system 不要跨越文件系统边界
    -B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节
    -e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
    --rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息
    -C, --cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件
    --existing 仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件
    --delete 删除那些DST中SRC没有的文件
    --delete-excluded 同样删除接收端那些被该选项指定排除的文件
    --delete-after 传输结束以后再删除
    --ignore-errors 及时出现IO错误也进行删除
    --max-delete=NUM 最多删除NUM个文件
    --partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输
    --force 强制删除目录,即使不为空
    --numeric-ids 不将数字的用户和组ID匹配为用户名和组名
    --timeout=TIME IP超时时间,单位为秒
    -I, --ignore-times 不跳过那些有同样的时间和长度的文件
    --size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间
    --modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0
    -T --temp-dir=DIR 在DIR中创建临时文件
    --compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份
    -P --progress 显示备份过程及传输进度

    -z, --compress 对备份的文件在传输时进行压缩处理
    --exclude=PATTERN 指定排除不需要传输的文件模式
    --include=PATTERN 指定不排除而需要传输的文件模式
    --exclude-from=FILE 排除FILE中指定模式的文件
    --include-from=FILE 不排除FILE指定模式匹配的文件
    --version 打印版本信息
    --address 绑定到特定的地址
    --config=FILE 指定其他的配置文件,不使用默认的rsyncd.conf文件
    --port=PORT 指定其他的rsync服务端口
    --blocking-io 对远程shell使用阻塞IO
    -stats 给出某些文件的传输状态
    --progress 在传输时现实传输过程
    --log-format=formAT 指定日志文件格式
    --password-file=FILE 从FILE中得到密码
    --bwlimit=KBPS 限制I/O带宽,KBytes per second
    -h, --help 显示帮助信息

     

    ----附2:rsync 常见错误及解决方法

    问题 @ERROR: chroot failed

    @ERROR: chroot failed rsync error: error starting client-server protocol (code 5) at main.c(1503) [receiver=3.0.6]

    原因:服务器端的目录不存在或无权限。

    解决办法:

    创建目录并修正权限可解决问题。

    问题 skipping non-regular file

    receiving incremental file list

    skipping non-regular file "vendor/bin/doctrine"

    skipping non-regular file "vendor/bin/doctrine.php"

    sent 1990 bytes received 489209 bytes 327466.00 bytes/sec total size is 182515746 speedup is 371.57

    原因:source源文件有软链接。

    解决方法:修改为 rsync -va,其中 -a == -rlptgoD (no -H,-A,-X) 或者 rsync -rvltOD 也可以。

    解决后:

    receiving incremental file list

    vendor/bin/doctrine -> ../doctrine/orm/bin/doctrine

    vendor/bin/doctrine.php -> ../doctrine/orm/bin/doctrine.php

    sent 1998 bytes received 489279 bytes 327518.00 bytes/sec total size is 182515746 speedup is 371.51

    问题@ERROR: module is read only

    sending incremental file list

    ERROR: module is read only

    rsync error: syntax or usage error (code 1) at main.c(866) [receiver=3.0.6]

    rsync: read error: Connection reset by peer (104)

    rsync error: error in rsync protocol data stream (code 12) at io.c(759) [sender=3.0.6]

    原因:source源服务器端权限设置read为only只读权限。

    解决方法:read only = false

    问题@ERROR: auth failed on module tee

    @ERROR: auth failed on module tee rsync error: error starting client-server protocol (code 5) at main.c(1522) [receiver=3.0.6]

    原因:服务器端该模块(tee)需要验证用户名密码,但客户端没有提供正确的用户名密码,认证失败。

    解决方法:提供正确的用户名密码解决此问题。

    问题 @ERROR: Unknown module 'tee_nonexists'

    @ERROR: Unknown module 'tee_nonexists' rsync error: error starting client-server protocol (code 5) at main.c(1522) [receiver=3.0.6]

    原因:服务器不存在指定模块。

    解决方法:提供正确的模块名或在服务器端修改成你要的模块以解决问题。

    问题 password file must not be other-accessible

    password file must not be other-accessible

    continuing without password file

    Password:

    原因:这是因为rsyncd.pwd rsyncd.secrets的权限不对,应该设置为600。

    解决方法:chmod 600 rsyncd.pwd

    问题 rsync: failed to connect No route to host

    rsync: failed to connect to 192.168.1.10: No route to host (113) rsync error: error in socket IO (code 10) at clientserver.c(104) [receiver=3.0.6]

    原因:对方没开机、防火墙阻挡、通过的网络上有防火墙阻挡,都有可能。

    解决方法:在iptables 中开放该端口,语句如下:

    iptables -I INPUT -p tcp –dport 873 -j ACCEPT

    rsync默认端口873,其实就是把tcp udp的873端口打开。

    问题 rsync error: error starting client-server protocol

    rsync error: error starting client-server protocol (code 5) at main.c(1524) [Receiver=3.0.6]

    原因:/etc/rsyncd.conf配置文件内容有错误。请正确核对配置文件。

    问题 rsync: chown "" failed: Invalid argument (22)

    rsync: chown "" failed: Invalid argument (22)

    原因:权限无法复制。去掉同步权限的参数即可。(这种情况多见于Linux向Windows的时候)

    问题 @ERROR: daemon security issue — contact admin

    @ERROR: daemon security issue — contact admin rsync error: error starting client-server protocol (code 5) at main.c(1530) [sender=3.0.6]

    原因:同步的目录里面有权限不足的软连接文件,需要服务器端的/etc/rsyncd.conf打开use chroot = yes。

    问题 rsync: read error: Connection reset by peer (104)

    rsync: read error: Connection reset by peer (104) rsync error: error in rsync protocol data stream (code 12) at io.c(794) [receiver=3.0.6]

    解决:很大可能是服务器端没有开启 rsync 服务,开启服务。

    问题 @ERROR: failed to open lock file

    @ERROR: failed to open lock file rsync error: error starting client-server protocol (code 5) at main.c(1495) [receiver=3.0.6]

    解决:配置文件 rsync.conf 中添加 lock file = rsyncd.lock 即可解决。

    部分代码贴图:

    2.1 搭建backup服务器。
    2.1.1 rsync的默认配置文件是/etc/rsyncd.conf,配置文件默认是空的,需要自己编辑
    
    [root@backup ~]# cat /etc/rsyncd.conf
    #rsync_config_____________________________start
    #created by oldboy 15:01 2007-6-5
    ##rsyncd.conf start##
    uid = rsync  
    gid = rsync   
    use chroot = no    
    max connections = 200      
    timeout = 300    
    pid file = /var/run/rsyncd.pid     
    lock file = /var/run/rsyncd.lock     
    log file = /var/log/rsyncd.log
    ignore errors
    read only = false
    list = false
    hosts allow = 172.16.1.0/24
    #hosts deny = 0.0.0.0/32
    auth users = rsync_backup
    secrets file = /etc/rsync.password       
    [backup]     
    path = /backup      
    [nfsbackup]
    path = /nfsbackup
    [luo]
    path = /luo
    ignore errors
    read only = false
    list = false
    hosts allow = 172.16.1.0/24
    #hosts deny = 0.0.0.0/32
    auth users = tang
    secrets file = /etc/tang
    #rsync_config________________________end
    
    2.1.2 添加用户rsync
    
    [root@backup ~]# useradd rsync -s /sbin/nologin -M
    [root@backup ~]# cat /etc/passwd|grep rsync
    rsync:x:501:501::/home/rsync:/sbin/nologin
    
    为什么用虚拟用户?
    应答:文件和进程都要满足属主的要求,文件和进程的存在一定是需要用户的,也是为了安全问题。
    2.1.3 根目录下添加backup目录
    
    [root@backup ~]# mkdir -p /backup/
    [root@backup ~]# chown -R rsync.rsync /backup/
    [root@backup ~]# ls -ld /backup/
    drwxr-xr-x 3 rsync rsync 20480 1月  18 09:51 /backup/
    
    2.1.4 创建rsync的密码配置文件,默认也是空的
    
    [root@backup ~]# cat /etc/rsync.password 
    rsync_backup:oldboy
    [root@backup ~]# chmod 600  /etc/rsync.password 
    [root@backup ~]# ls -l /etc/rsync.password 
    -rw-------. 1 root root 20 11月 29 01:14 /etc/rsync.password
    
    2.1.5 开启服务并开机自启动
    
    [root@backup ~]# tail -1 /etc/rc.local 
    /usr/bin/rsync --daemon

     

    展开全文
  • OpenStack云环境数据备份方案 Freezer

    千次阅读 2017-11-06 16:18:48
    对于很多用户来说,OpenStack 环境中的数据备份一直存在着众多痛点,影响了OpenStack备份,具体包括如下几个方面: 1. NovaCinder 备份方式存在不统一性 OpenStack 数据备份过程中,我们的主要关注点在Nova ...
  • 本文将探讨数据备份解决方案发生的改变,以及如何为您的数据备份环境选择最合适的解决方案。  数据备份市场的变化  Infrastructure Analytics公司创始人兼首席分析师Mike Karp指出,备份市场发生变化
  • Symantec BackupExec DLO为个人电脑用户提供对关键数据的保护。企业可以方便的实现对桌面机和笔记本的备份及恢复系统。...为数据的有效备份提供了方便手段。并提供了为企业备份服务的中央集中管理界面。
  • NBU数据备份方案.rar

    2009-12-31 11:57:39
    Veritas NetBackup数据备份方案

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 200,495
精华内容 80,198
关键字:

数据备份方案