精华内容
下载资源
问答
  • 爱数AnyShare易享云备份恢复最佳实践.pdf
  • 爱数AnyShare易享云备份恢复最佳实践.docx
  • ;Oracle简介 ;Oracle基本安装 ;安装过程;安装过程;安装过程;安装过程;安装过程;安装过程;安装过程;安装过程;安装过程;安装过程;安装过程 ;安装过程;Oracle日常维护 ;首先点击开始选择运行输入CMD进入Dos界面如下图 ;...
  • cinder硬盘备份恢复

    千次阅读 2017-04-01 17:37:32
    作者:【吴业亮】云计算...1、查看需要备份硬盘的 ID 或 Display Name:# cinder list2、备份云硬盘:# cinder backup-create VOLUME3、运行以下命令检查硬盘备份是否已经成功完成:# cinder backup-list4、使

    作者:【吴业亮】云计算开发工程师
    博客:http://blog.csdn.net/wylfengyujiancheng

    一、备份一个云硬盘
    1、查看需要备份的云硬盘的 ID 或 Display Name:

    # cinder list

    2、备份云硬盘:

    # cinder backup-create VOLUME

    3、运行以下命令检查云硬盘备份是否已经成功完成:

    # cinder backup-list

    4、使用 –incremental 选项创建一个增量备份:

    # cinder backup-create VOLUME --incremental

    注意:
    当存在增量备份时,不能删除相关的完全备份。例如,当一个完全备份有多个增量备份时,您只能删除最后一个增量备份。
    增量备份在 NFS 和 Object Storage 备份存储库中被完全支持。Ceph 备份存储库也支持增量备份,但只针对于存储在 Ceph 后端的存储卷。

    二、恢复一个云硬盘

    1、找到您需要使用的云硬盘备份的 ID:

    # cinder backup-list

    Volume ID 需要和您要恢复的云硬盘的 ID 相匹配。

    2、恢复云硬盘备份:

    # cinder backup-restore BACKUP_ID

    其中的 BACKUP_ID 是您要使用的云硬盘备份的 ID。

    三、删除备份
    如果您不再需要一个备份,运行以下命令删除它:

    # cinder backup-delete BACKUP_ID

    四、设置云盘只读
    您可以把一个云硬盘设置为允许多个用户对它进行访问,但不能对它的内容进行编辑。使用以下命令把云硬盘设置为只读:

    # cinder readonly-mode-update VOLUME true
    展开全文
  • gitlab备份恢复手册

    2019-01-10 09:41:22
    非常详细的gitlab备份恢复手册,该手册用于公司代码云备份恢复紧急救援使用,不可多得,需要的亲,请下载。
  • 阿里HBase备份恢复原理及实践 技术创新变革未来
  • AWS公有备份恢复归档解决方案.pdf
  • 阿里HBase备份恢复的原理以及实践.pdf
  • 阿里rds数据备份恢复

    千次阅读 2019-04-20 13:23:22
    由于阿里rds数据库备份的是物理备份,这个备份恢复,阿里官方恢复是需要重新购买数据库才能恢复。下边介绍下如何恢复数据。 1.阿里数据库备份实例,恢复数据的时候需要将数据恢复到本地数据库,是不能直接恢复...

    由于阿里云rds数据库备份的是物理备份,这个备份恢复,阿里云官方恢复是需要重新购买数据库才能恢复。下边介绍下如何恢复数据。

    1.阿里云数据库备份实例,恢复数据的时候需要将数据恢复到本地数据库,是不能直接恢复到RDS上的。

    2.需要在本地服务器上下载一个数据库,尽量和RDS数据库版本保持一致。(我现在用的是5.6的版本)

    3.这里需要用到xtrabakcup工具进行数据恢复

    1,下载5.6版本的数据库

    cd /usr/local/src/

    wget http://mirrors.sohu.com/mysql/MySQL-5.6/mysql-5.6.36-linux-glibc2.5-x86_64.tar.gz

    2,解压

    mv /us/local/src/mysql-5.6.36-linux-glibc2.5-x86_64  /usr/local/mysql

    3,创建数据库用户

    useradd -s /sbin/nologin mysql

    3,安装xtrabakcup工具

    获取yum源

    yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm

    安装xtrabackup需要依赖其他包(这里用的是阿里云的epel源)

    wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo

    安装工具

    yum install percona-xtrabackup

    4,登录到阿里云的RDS控制台,点击复制外网。

    5,下载数据备份文件

    wget -c '外网地址' -O /usr/local/src/db.tar.gz

    (如果你用的是虚拟机,可能无法解析改外网地址。加个114的dns即可)

    6,将下载的数据备份恢复到本地MySQL数据库中

    a,首先下载一个脚本

    wget  http://oss.aliyuncs.com/aliyunecs/rds_backup_extract.sh

    chmod a+x rds_backup.sh

    b,解压数据文件

    mkdir -p /data/mysql

    执行命令解压数据文件

    ./rds_backup.sh -f <数据备份文件名>.tar.gz -C /data/mysql

    c,恢复解压好的备份文件

    innobackupex --defaults-file=/home/mysql/data/backup-my.cnf --apply-log /home/mysql/data

    7,修改数据库文件属性

    chown -R mysql:mysql /data/mysql

    8,为防止数据库版本问题,还是需要修改/data/mysql/backup-my.cnf的配置文件,将如下配置注释掉。

    9,启动数据库

    /usr/local/mysql/bin/mysqld_safe  --defaults-file=/data/mysql/backup-my.cnf --user=mysql --datadir=/data/mysql &

    10,登录数据库

    /usr/local/mysql/bin/mysql -uroot

    上面基本完成数据的恢复。考虑到恢复完成后,表mysql.user中不包含在RDS实例中创建的用户,需要新建。在新建用户前,执行如下命令

    delete from mysql.db where user<>'root' and char_length(user)>0;

    delete from mysql.tables_priv where user<>'root' and char_length(user)>0;

    flush privileges;

     

    展开全文
  • 摘要: 介绍了阿里HBase自研备份恢复功能的基本背景以及基本原理架构和基本使用方法。   HBase发布备份恢复功能,为用户数据保驾护航。对大多数公司来说数据的安全性以及可靠性是非常重要的,如何保障数据...

    摘要: 介绍了阿里云HBase自研备份恢复功能的基本背景以及基本原理架构和基本使用方法。

      云HBase发布备份恢复功能,为用户数据保驾护航。对大多数公司来说数据的安全性以及可靠性是非常重要的,如何保障数据的安全以及数据的可靠是大多数数据库必须考虑的。2016 IDC的报告表示数据的备份(data-protection)和数据恢复(retention)是Nosql的最基础的需求之一。

    为什么需要云HBase备份恢复?


      我们希望云HBase支持备份和恢复功能,主要原因:

    • 用户直接访问操作数据库,可能存在安全风险;
    • 项目存在合规以及监管的强需求;
    • 对数据库恢复数据到任意时间点(归档到任意时间点)需求;
    • HBase社区至今没有release备份恢复功能。

      1、用户直接访问数据库,存在安全风险

    ​  用户通过接口直接访问HBase数据库,这种情况下存在安全隐患的概率会比较大。一种可能性是黑客会通过黑客技术入侵数据库,对用户的数据进行肆意的“操作”,造成用户数据无法访问,然后进行勒索,参考前段时间的某某某数据库勒索事件。当然这种case 在阿里云相关数据库上是不会发生的,我们的数据库有一些安全机制进行守护,且云HBase自己也有自己的安全机制进行保障。

    ​  另外一种潜在的安全隐患就是:由于用户自己的误操作造成的数据丢失或者数据库不可访问,比如我们之前经常听到的“某某DBA由于误操作,造成数据库数据被物理删除,无法恢复,造成公司损失”等等等消息。

    ​  上述两种情况如果数据有备份的话,可以把备份的数据恢复回来,即可避免以上风险。

      2、合规以及监管需求

    ​  这种情况主要存在于一些特殊的项目中。由于数据的重要性或其他原因,会有监管的部门对数据是否做备份进行合规检查。比如我们曾经遇到的汽车行业的某公司,因为其每辆汽车数据的重要性,需要对这些车辆数据做实时备份,且这些数据如果存在大面积丢失则会直接带来监管审查问题。对于这种有监管需求的项目,备份恢复是必不可少的。

      3、数据库恢复到任意时间点需求

    ​  对数据库的数据归档到过去某一时间点也是对备份恢复的一个比较强烈的需求。假如测试脚本意外写入生产环境下的云HBase表中,那么会造成很多无效的数据产生,对于这种过去一段时间存在无效数据,不仅占用存储空间且不方便删除的情况,使用数据库的PITR能力可以将数据库数据做一种“清洗”,将数据恢复到产生无效数据之前。这里需要说一下,云HBase的恢复暂时只能支持恢复到过去10天内的时间点,且时间点的精确度是小时级别,暂时不能很精确的细化。

      4、HBase社区至今没有release备份恢复功能

    ​  HBase社区官方到现在没有对外发布过稳定的备份恢复功能,官方建议的备份操作的方式在生产环境是不适合执行的。所以云HBase提供一个稳定的备份恢复功能弥补了HBase社区在该方面的欠缺,也为广大HBase用户提供了一个选择。

    云HBase备份恢复:赋能HBase备份恢复能力


    ​  云HBase备份恢复的设计之初的目的就是:赋能云HBase备份恢复的能力、百T级别(起)数据量备份恢复支持、低用户使用门槛、高性能、低备份成本、支持冷热分离、兼容HBase2.0/1.x、备份集备份、恢复以及增量备份、时间点恢复等。

    ​  传统数据库备份恢复的能力都是TB级别,在交易等场景下面是足够的,但面向大数据场景就捉襟见肘了。云HBase通过垂直整合高压缩、内核级优化等能力,将备份恢复的量级成功推高百倍以上,做到 百TB级别甚至更高 ,让客户在大数据量场景下也无后顾之忧。

    ​  我们最终给出如下架构:一种包含了全量(备份集)备份、全量(备份集)恢复、增量(实时)备份、增量(时间点)恢复几个模块,接下来就这几个模块进行介绍;

    ​     backuprestore

    备份数据

    ​  备份数据分为2部分:开启备份动作时间点前的存量数据,通过Hfile的形式进行读取以及备份到目的端;时间点以及以后写入的实时数据,会以Hlog的形式被读取以及备份到远端。这里备份的远端默认选择是OSS,因为其具有11个9的数据可靠性,以及低成本等特点。上述存量数据的备份(备份集备份)会周期性的触发,暂定周期是一周;实时产生的数据(实时备份)会及时的备份到远端OSS。OSS上的数据,我们会相应保留2个周期,这样做主要是为了清理冗余数据。

    ​  备份数据过程中,通过调整流量控制,可以将备份带来的影响降低到极低的一个程度。无论是备份集备份还是实时备份,通过failover、takeover等机制,可以保证即使某些备份进程异常,数据依旧可以被备份到远端,这里可以承诺做到小时级别的备份精确度。此外备份过程中,通过将备份数据备份流量均匀分摊到集群中的各个机器,可以保证最高的备份效率,通过分布式的备份进而支持备份规模达到百T甚至更高级别,即只要你敢存,我们就敢备份。

    恢复数据

    ​  从产品层面来看,如果用户执行恢复集群操作的话,云HBase会将数据恢复到一个全新的集群。这么做的目的是,尽可能的保证不侵入用户数据,守护最后一道数据底线,如果数据恢复完成,对于原的集群,用户可以自行处理。

    ​  数据恢复主要是将用户的数据,从远端(默认OSS)进行下载,其中包括存量的Hfile 数据以及增量的Hlog数据两部分。那么存量的Hfile数据,通过各个机器均衡下载,并各个机器执行bulkload,保证较快速的将存量数据恢复。对于Hlog 数据,同样做到分布式下载,各个机器回放相关的Hlog。通过充分利用各个机器的资源,将恢复速度做到最优。

    ​  恢复支持备份集恢复以及时间点恢复,如果用户想恢复到过去某一个具体时间段的数据,那么在页面选择一下相应时间段,点击恢复即可。

    一些指标

    ​  经过我们的理论分析以及实际测试(8C32G,8Tx10),给出下列数据指标:

        1. 备份数据量可以达到百T级别甚至更高;
        2. 备份集备份最长4天,正常情况远小于4天;
        3. 备份集恢复最长1天半;
        4. 日志恢复数据精确度:1hour,最长容忍一小时的数据不准确;

    ​  上述第4点解释下:所谓的恢复精确度是如果用户想要将数据恢复到最新的一个时间点,恢复到的数据存在与需求的最新时间点数据最多一小时的误差,其他的恢复是没问题的,但是实际我们测试的情况远小于这个时间。

    ​  由于分布式备份,同等数据量下备份以及恢复速度是传统数据库的数倍。备份数据量、备份/恢复速度会随着机器数量的扩容而不断的增大。举个例子同样备份2T数据,传统数据库如果需要24小时,那么我们可以保证备份速度可以保证小于等于12小时。

    云HBase和自建的区别

      HBase社区到目前为止没有release备份恢复功能,官网只介绍了如果要做备份需要的操作流程参考link,可以通过export做备份;此外社区有一个分支包含备份恢复功能,见link,但该分支开发好几年,release时间未知,且版本不稳定;在这里大概列一下云HBase备份恢复和自建的区别;

     云HBase自建HBase
    备份恢复操作操作简单,点击按钮即可操作复杂,需要手工触发命令执行
    备份过程是否依赖别的组件依赖产品化组件,但是用户无感知,无需用户操作依赖MapReduce,需要用户搭建或者部署
    最长备份精确度时间保证1小时不确定
    是否保证备份进程异常情况下的数据备份没有
    稳定性多种数据量下反复测试,保证稳定性社区方案,稳定性未知
    流量控制export方案无、分支未release方案有
    备份目的端数据冗余会有一定少量冗余数据存在较多冗余数据
    备份时间保证有最长时间保证未知

    如何进行备份以及恢复


    ​  备份恢复整个操作流程都是非常简单的界面化操作,一路点点点既可以完成整个操作。

    执行备份

    ​    1

    ​  用户购买完成云HBase集群以后在自己的控制台左侧栏会看到“备份与恢复”选项栏,选择该栏目,然后出现备份恢复相关的选项,第一次执行备份会需要重启集群,建议用户在一个低峰期进行开启操作,开启备份操作可能需要几分钟,请用户耐心等待。点击开启备份恢复以后,按照对应的选项指导 用户可以选择备份集备份的时间点,选择完成以后,就会周期性的在这个时刻触发一次备份集备份,至于实时数据备份在第一次开启备份的时候就触发了。

        4

    ​  完成上述设置以后,我们整个备份操作即可正常开启以及执行了。

    执行恢复

    ​  云HBase的恢复包括备份集恢复以及时间点恢复。备份集恢复即恢复到过去执行的某一次备份集备份的数据,而时间点恢复即用户可以选择某一个特定的时间段(小时级别),然后云HBase的恢复程序即可将数据恢复到对应的时间点。无论是备份集恢复还是时间点恢复都是将数据恢复到一个新的集群。

    ​  选择是备份集恢复还是时间点恢复主要是在控制台页面选择:

        5

    ​  上述页面可以选择”备份点创建实列“,最后可以在下述页面选择具体的备份情况:

        7

    ​  完成如上操作以后,恢复程序开始执行恢复,等数据恢复完成即可。

    展望


    ​  后期我们的备份恢复会进一步深耕,继续做的更细致,由于现阶段我们的备份恢复只能达到集群级别的备份,那么接下来需要支持更细粒度的备份和恢复,暂定细化到表级别;此外,我们还希望备份恢复的精确度可以降低到秒级别,这个事情也是需要投入精力的;再次对应备份恢复的速度我们希望可以再进行优化。

    产品入口
      链接:https://cn.aliyun.com/product/hbase

    云HBase备份恢复使用文档
      链接:https://help.aliyun.com/document_detail/68358.html?spm=a2c4g.11174283.6.585.5f113c2epivA3S

    展开全文
  • 本资源是使用Android+Json+SSM和MySQL进行数据后台交互,模拟云备份恢复的一个程序,包括了源码的数据库建表文件,读者可自行执行
  • --参考文档 ... --解压备份文件 tar -xzvf hinsx122336_data_201801000.tar.gz -C /data/mysql_data rm hinsx122336_data_201801000.tar.gz --安装xtrabackup软件 sudo rpm -i...

    --参考文档
    https://help.aliyun.com/document_detail/26212.html

    --解压备份文件
    tar -xzvf hinsx122336_data_201801000.tar.gz  -C /data/mysql_data

    rm hinsx122336_data_201801000.tar.gz

    --安装xtrabackup软件
    sudo rpm -ivh percona-xtrabackup-2.0.6-521.rhel6.x86_64.rpm

    [root@test mysql_bak]# sudo rpm -ivh percona-xtrabackup-2.0.6-521.rhel6.x86_64.rpm
    warning: percona-xtrabackup-2.0.6-521.rhel6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID cd2efd2a: NOKEY
    Preparing...                ########################################### [100%]
       1:percona-xtrabackup     ########################################### [100%]
       
       
    --恢复数据
    innobackupex --defaults-file=./backup-my.cnf --apply-log  --ibbackup xtrabackup_56 ./       

    //必须要加上后面的--ibbackup  xtrabackup_56,我这里是5.6.16,因为数据库版本是5.6版本的,不加的话会报错

    [notice (again)]
      If you use binary log and don't use any hack of group commit,
      the binary log position seems to be:

    xtrabackup: starting shutdown with innodb_fast_shutdown = 1
    180607 16:53:45  innobackupex: completed OK!


    --修改配置文件。将解压文件 backup-my.cnf 中的 innodb_fast_checksum、innodb_page_size、innodb_log_block_size,innodb_log_checksum_algorithm 
    rds_encrypt_data,innodb_encrypt_algorithm 注释掉,并且添加 datadir=/mysql_data,如下所示。


    # The MySQL server
    [mysqld]
    innodb_checksum_algorithm=innodb
    #innodb_log_checksum_algorithm=innodb
    innodb_data_file_path=ibdata1:200M:autoextend
    innodb_log_files_in_group=2
    innodb_log_file_size=1572864000
    #innodb_fast_checksum=false
    #innodb_page_size=16384
    #innodb_log_block_size=512
    innodb_undo_directory=.
    innodb_undo_tablespaces=0


    datadir=/data/mysql_data
    character_set_server = utf8

    #rds_encrypt_data=false
    #innodb_encrypt_algorithm=aes_128_ecb


    --重装 MySQL 系统库,取得数据库的 root 权限。

    cd /data/mysql_data

    chown -R mysql.mysql mysql_data/
    mysql_install_db --user=mysql --basedir=/usr --datadir=/data/mysql_data  --defaults-file=/data/mysql_data/backup-my.cnf    //这里需要指定配置文件,不然它会在初始化的时候去到/etc目录下查找


    --关闭selinux  --重要,否则起不来,回报pid的错误
    getenforce 
    setenforce 0
     /etc/selinux/config
    修改 selinux 配置文件
    将SELINUX=enforcing改为SELINUX=disabled

    --关闭防火墙,否则没法远程登录
    chkconfig iptables off
    service iptables stop

     

    --复制参数文件到默认路径,以无需认证方式启动

    cp backup-my.cnf /etc/my.cnf
    mysqld_safe  --skip-grant-tables 

    --修改root密码

    use mysql

    UPDATE mysql.user SET Password=PASSWORD('xxxxx') WHERE User='root';  
    flush privileges

    --重启服务

    service mysql restart

     

    展开全文
  • 但是,什么是“灾难恢复”,特别是云的灾难恢复,它与云备份有什么区别呢?  云灾难恢复云备份数据保护的更全面,下面我们来看下他们之间的区别。 云备份:影响数据恢复时间的因素 利用云备份,当企业数据被破坏...
  • 腾讯.xb 数据库备份恢复

    千次阅读 2019-07-12 08:35:52
    腾讯 mysql .xb数据库备份恢复 https://cloud.tencent.com/document/product/236/33362 备份文件先经过 qpress 压缩,后经过 xbstream 打包 1, 安装 xbstream yum install ...
  • 备份 1 安装客户端 yum install mysql 2 执行以下命令,对RDS实例执行库备份操作(推荐案例二) mysqldump -h [$Host] -u [$User] -P [$Port] -p --opt --default-character-set=utf8 --triggers --hex-...
  • 由于要在局域网搭建测试数据库,所以想要直接从阿里的mysql上直接把备份恢复到本地。可能是rds的产品文档写的不够详细,也可能是我自己能力不够,看着文档去操作的时候愣是没恢复成,后经各种查资料终于恢复了。...
  • 有关云的炒作已经模糊了云存储,以及云备份恢复和还原(云BURR)之间的界限。甚至使得云存储和云端的存储,以及“同步和共享”这样的概念差别变得模糊。许多供应商乐意与此,因为这使得他们的方案看上去对于潜在客户更...
  • 1.导出原始表结构,比如表t1 2.打开另一个mysql服务器,表结构t1导进去 3.删除表t1空间 ALTER TABLE t1 DISCARD TABLESPACE; ...4.复制t1.ibd 到数据库存放位置...6.导入表t1空间 ,恢复数据库表完成 ALTER TAB...
  • 阿里的RDS for PostgreSQL目前提供的备份为物理备份备份粒度可以自己设置,最频繁的基础备份可以做到一天一次。有了这个备份和归档日志,我们可以做到基于任意时间点(实际上是事务提交或回滚点的粒度)的恢复...
  • 阿里RDS文档概述——备份恢复

    千次阅读 2014-11-30 10:46:34
    备份恢复 创建备份 查看备份列表 从备份点创建临时实例 查看备份策略 修改备份策略   创建备份: 描述: 说明: 可用来创建一个备份,限制一天之内一个实例创建备份不超过10个。 实例状态要求: 必须满足以下条件,...
  • 阿里混合云备份服务是一套已经商业化的原生备份服务,提供了简单易用,并且高效安全的数据保护方案。阿里混合云备份服务能够定期的对指定关键数据进行增量的扫描,并对备份的数据采用了高效的重删加压缩的算法,在为...
  • 《Redis、MongoDB、HBase大咖直播大讲堂》技术直播峰会

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 41,132
精华内容 16,452
关键字:

云备份恢复