精华内容
下载资源
问答
  • 数据备份方案

    2010-04-16 15:25:00
    目前:和用户对应游戏和活动表达数据多很大,这些表大概都是用户表的几十倍。1、分库分表的策略:把大并发的表分布...4、对历史数据备份,删除主表数据量,做好定时备份。 A,B两数据库,A用于线上,B做数据仓库。定期

    目前:和用户对应游戏和活动表达数据多很大,这些表大概都是用户表的几十倍。
    1、分库分表的策略:把大并发的表分布在不同mysql数据库上
    2、如果一张表用户的访问很大:做主从表复制,是否会有延迟
    3、会不会对同一张表的数据分库存储?1到5000W在一个表上 5001w到1亿在另一个表?
    4、对历史数据备份,删除主表数据量,做好定时备份。
       A,B两数据库,A用于线上,B做数据仓库。定期把A中年月已久的数据转移到B中。

    展开全文
  • hive数据备份方案

    千次阅读 2019-08-23 16:21:44
    hive数据备份方案 非风区表的备份 create table t_copy as select * from t_temp; 分区表的复制 create table tablepark_test like tablepark; set hive.exec.dynamic.partition.mode=nonstrict insert overwrite ...

    hive数据备份方案

    非分区表的备份

    create table t_copy as select * from t_temp;
    

    分区表的备份

    第一种方式

    创建表结构相同的备份表

    create table tablepark_test like tablepark;
    

    设置动态分区模式

    set hive.exec.dynamic.partition.mode=nonstrict;
    

    备份

    insert overwrite table tablepark_test partition(year) select * from tablepark;
    

    其中year是分区字段,这种方式因为要走mapreduce,所以效率比较低

    第二种方式

    msck修复分区
    我们可以先复制出一张表结构和tablepark一样的表,然后将tablepark表目录下的数据拷贝到tablepark_test,然后使用分区表的msck指令去修复重新生成分区.

    create table tablepark_test like tablepark;
    hdfs dfs -cp /user/hive/warehouse/ods_ticket_data.db/tablepark/* /user/hive/warehouse/ods_ticket_data.db/tablepark_test/
    show partitions tablepark_test; //这时候查看分区还没有值
    msck repair table tablepark_test;	//修复分区,将存在于HDFS上但不在metastore上的分区元信息添加到metastore
    show partitions tablepark_test;	//这时候查看分区就有值了
    

    注意:分区的目录结构必遵循 /partition_name=partition_value/结构,否则msck无法自动添加分区。

    展开全文
  • RDB数据备份方案

    2017-11-30 15:14:06
    数据备份方案 (1)写crontab定时调度脚本去做数据备份 (2)每小时都copy一份rdb的备份,到一个目录中去,仅仅保留最近48小时的备份 (3)每天都保留一份当日的rdb的备份,到一个目录中去,仅仅保留最近1个月的...

    数据备份方案

    (1)写crontab定时调度脚本去做数据备份

    (2)每小时都copy一份rdb的备份,到一个目录中去,仅仅保留最近48小时的备份

    (3)每天都保留一份当日的rdb的备份,到一个目录中去,仅仅保留最近1个月的备份

    (4)每次copy备份的时候,把最早一天|一月的备份删了

    (5)每天晚上将当前服务器上所有的数据备份,发送一份到远程的云服务上去

     

    环境说明: 


     

     

    场景1:

    每小时copy一次备份,删除48小时前的数据

    crontab -e

    0 * * * *  /usr/local/redis/sh/redis_rdb_copy_hourly.sh

    redis_rdb_copy_hourly.sh文件内容:

    #!/bin/sh
    cur_date=`date +%0Y%0m%0d%0k`
    rm -rf /usr/local/redis/bak/$cur_date
    mkdir /usr/local/redis/bak/$cur_date
    cp /usr/local/redis/data/dump.rdb /usr/local/redis/bak/$cur_date
    
    del_date=`date -d -48hour +%0Y%0m%0d%0k`
    rm -rf /usr/local/redis/bak/$del_date
    

     

     场景2:

    每天copy一次备份,删除上月的数据

    crontab -e

    0 0 * * *  /usr/local/redis/sh/redis_rdb_copy_daily.sh

    redis_rdb_copy_daily.sh文件内容: 

    #!/bin/sh
    cur_date=`date +%0Y%0m%0d`
    rm -rf /usr/local/redis/bak/$cur_date
    mkdir /usr/local/redis/bak/$cur_date
    cp -r /usr/local/redis/data/dump.rdb /usr/local/redis/bak/$cur_date
     
    del_date=`date -d -1month +%0Y%0m%0d`
    rm -rf /usr/local/redis/bak/$del_date

     

    注意事项:此处还可以使用scp将已备份到本机的文件拷贝到其他服务器,防止本机硬盘故障

     

    场景3:

    冷备数据恢复,在reids已停止对外服务的情况下,并且RDB和AOF都开启:

    1、配置文件关闭aof,即:appendonly no

    2、删除aof文件,拷贝(覆盖)备份的rdb文件,启用redis,此时数据已恢复

    3、动态开启aof,即:config set appendonly yes,待自动生成aof文件(如果不自动生成,可调用bgrewriteaof命令触发),完成数据的重写

    4、修改配置文件开启aof,启动redis

    展开全文
  • 个人数据备份方案

    2017-02-12 22:45:00
    于是花时间把我这几年积累的数据备份方案整理出来,希望能帮到大家。 先看看几个典型情景: 我经常用手机拍照,万一我手机丢了,里面的照片的价值比一台新手机还大。 我把我的许多资料存在移动硬盘里了,结果...

        经常有朋友发生了数据丢失时找我帮忙,我发现数据备份是最科学的解决方案。于是花时间把我这几年积累的数据备份方案整理出来,希望能帮到大家。

    先看看几个典型情景:

    • 我经常用手机拍照,万一我手机丢了,里面的照片的价值比一台新手机还大。
    • 我把我的许多资料存在移动硬盘里了,结果今天硬盘出问题,读不出来,有什么办法可以挽回?
    • 我的许多重要数据都存在我的个人电脑里,结果昨晚电脑被贼偷了。
    • 我刚误修改了一份Excel文件,而且还保存了,我想要回修改前的文件。

    以上是常见的几个代表情景,如果真的发生了,往往很难处理,甚至没法处理,所以要做数据备份。

    一、数据备份到哪里

        常见是由硬盘备份移动硬盘,这样不妥,谁也不知道哪个硬盘先坏。再有,地震、火灾很可能两个硬盘一起完蛋,光盘U盘也一样。所以除了移动硬盘,还得用云盘。在免费且操作不算太复杂的前提下能起到较好的防灾作用,还是值得的。几年来个人最推荐360云盘,但几个月前它关闭了此项业务。以免费为前提,目前(2017-02)最推荐是百度云(可惜手机app非会员不能上传视频,可通过PC端解决),其次是微云。同时也放一份到自己的移动硬盘,它读写速度快比云盘快很多。

    二、如何备份?

        不同的数据,特性不同,对应使用的云盘的功能也不同。

    第1种,照片和自拍视频。

        通过手机安装云盘App,把照片和视频同步到云盘。还可以通过同步功能同步到自己的电脑。

    第2种,个头小的个性数据,易变的。如Excel, Word文档。源代码,设计文稿等。

        这种适合使用云盘的同步或者自动备份功能,文件一旦有变化,自动同步,还能方便在几台机共享同一份文件,省去了用U盘复杂的麻烦。对于这类文件,强烈建议打开云盘的历史版本功能,有些云盘中叫[时光机]。前面说的误操作了Excel还保存了的情况,就可以通过时光机功能找回改前的版本。

    第3种,个头大的非个性数据,如电影。

    这种数据不要压缩/打包,直接放云盘,由于你上传的电影、电视剧、软件安装包很可能别人也上传了,这样就容易产生秒传,从而大在节约上传的带宽和时间。这种公开的数据为什么要备份,有些因为不容易下载,有些因为可以按自己的分类方式归到目录,能使自己以后从云盘下载比去网上找要方便就有理由存到云盘。假如超过了单个文件的最大限制,则要分割文件,此时基本无法使用秒传,这种情况下,建议用视频分割工具(如MKV tools Nix)进行分割后再分别上传,一是不会由于单个文件太大而无法上传,二是可以先下载一个文件,然后边播放边下载其它文件。

    第4种,个头大的个性数据,如一台虚拟机数据文件。

        这类文件数量少,个头大,一般从几G到几十G。许多人没有此类文件,就算有,也要仔细考虑要不要备份。假如,在虚拟机中的这个操作系统安装过程很长,或者很复杂,你希望避免再装一次,就可以备份起来。有些云盘对单个文件有大小限制,比如微云非会员最大1G,就算它没有限制,出于方便下载的需要,我还是建议你将这类大文件分割成小文件,比如1G。用WinRar就可以分割,你可以压缩的同时分割。然后就分别上传到云盘,由于是自己独有的数据,不会产生秒传,上传要有耐心。

    第5种,敏感数据文件。

        是不是注册过许多网站的账号和密码?光是QQ都不止一个吧?还有各种密保,真要用时是不是难以验证通过?可以保存为一个文本文件。一旦这个文件被人知道不是非常危险?用WinRar对这个文本文件加密,所以你只需要记住这一个密码就行了,其它密码忘记了都能查得到。这个rar文件丢了怎么办?复制到多个地方:硬盘、云盘等。关键要养成习惯,今后新注册账号要来更新这个文件,修改密码,绑定手机号都要来更新这个文件。所以为了便于管理,各个地方(备份的除外)的这个rar文件建议使用同步功能保持同步更新。

    三、同步有没有什么缺点?

        有。如果一个地方误删了,别的地方也都同步删除了。所以,应该一段时间手工备份一次,即把所有同步的文件(夹)复制一份保存起来,需要注明当时的时间点,备份的文件内容,原则上就不再修改了。它保存了备份那个时刻的状态。下次手工备份时,可以把旧的备份删除。万一当前的数据发生意外,可以从最近的备份进行恢复。多久备份一次,依具体个人具体数据而定,比如每月一次。

     

         希望以后大家都不再发生数据丢失。毕竟在网络世界,一切都是数据。

    转载于:https://www.cnblogs.com/BillySir/p/6392091.html

    展开全文
  • NAS存储与数据备份方案
  • NAS存储与数据备份方案数据备份部分是整个网络系统的关键点,任何原因造成数据丢失都将带来无法估量的损失,因为这些数据涉及到公司各应用系统(包括缺陷、动态成本、点检、物质仓储、大宗物料、生产运营等系统),...
  • Oracle DataGuard数据备份方案详解
  • MySQL常见备份方案有以下三种:mysqldump + binloglvm + binlogxtrabackup本例为方便演示,数据库里面数据为空。下面开始动手mkdir /opt/backup #创建备份目录mkdir-p /data/3309/{data,binlog}cd/usr/local/mysql/...
  • (转)rsync数据备份方案

    2018-01-31 22:43:00
    rsync数据备份方案 原文:http://blog.51cto.com/irow10/1826458 最近整理了下公司的数据备份情况。以下是部分操作的过程 1、rsync数据备份,具体备份过程就不详细介绍。数据都备份在/bakup目录下 2、删除过期...
  • 方案以一天一次的频率,在每天凌晨2:00备份生产环境数据库至文件服务器。为保证备份文件不过多占用文件服务器空间,备份文件以tgz压缩包格式保存且只保存7天的备份文件。另外每次备份都保存备份日志,一旦出现备份不...
  • 【Redis持久化】Redis企业级数据备份方案 9.1 redis数据备份方案 写crontab定时调度脚本去做数据备份 每小时cop一份rdb的备份,到一个目录中,仅仅保留最近48小时的备份 每天保留一份当日的rdb的备份,到一个目录中...
  • 几种常见的数据备份方案

    万次阅读 2014-10-31 14:41:40
    最近一直在使用木浪科技的多备份进行网站的备份,这是一款全新的互联网产品,感觉在便捷性和有效性方面都好于传统的数据备份方案。向大家推荐。 今天,我们不了多备份,而是想和大家简单聊聊常见的数据备份方案。 ...
  • 《用户数据备份方案》 1. 采用 bash shell 开发数据备份脚本 2. 数据备份目录新建在 dcp/backup 下 3. 所有需要备份的文件打包为 tar 包,名字以年月日命名,如:2020-04-07.tar.gz 2020-04-07_all.tar.gz 4. 备份.....
  • 考虑到工作数据的重要性,...但是却发现了iSCSI是个不错的东西,一个免费的同步软件+iSCSI构成一个局域网数据备份方案。测试了遥志网络虚拟硬盘+ms的Initiator,发现写入数据情况下会导致数据丢失,这种方案可能只适...
  • 3. 数据备份方案及数据恢复容灾演练 以上对redis的持久化的原理和操作进行了讲解,但是在企业中,持久化到底是怎么去用得呢? 企业级的数据备份和各种灾难下的数据恢复,是怎么做得呢?本节将对redis企业级数据备份...
  • 1、企业级的持久化的配置策略 (1)每隔1分钟去检查如果超过10000个可以变更,则生成一个快照。RDB最多丢1分钟的数据。...2、企业级的数据备份方案 RDB非常适合做冷备,每次生成之后,就不会再有修改了 数据备份方案
  • rsync数据备份方案

    2017-11-27 14:33:00
    最近整理了下公司的数据备份情况。以下是部分操作的过程 1、rsync数据备份,具体备份过程就不详细介绍。数据都备份在/bakup目录下 2、删除过期数据及空目录 公司的备份数据量比较大,必须及时清除过期数据。 1 2...
  • 备份到磁盘解决方案改善了备份和恢复操作的性能,满足南京市地税的减小备份窗口的要求,实现更高级别的可用性,以及通过减少用户需要管理的介质的数量达到较低总体拥有成本。这些为业务提供了更好的服务等级,并导入...
  • Linux数据备份通常使用tar命令进行,初学者很难看明白比较复杂的Linux数据备份方案。现介绍一种“傻瓜式备份方案”,供初建Linux服务器者参考。 1、首先我们要知道需要备份哪些数据。 一般包括数据库和网站数据...
  • WordPress数据备份方案

    2008-09-10 17:30:00
    WordPress数据备份方案从 2008年8月26日 开始被阅读 189 次 在使用WordPress的过程中,总会当心自己的数据也许什么时候会丢失,这里也许可能是虚拟主机提供商的问题,也可能自己误操作的问题,也可能自己管理...
  • SyncNavigator是一款功能强大的数据库同步软件,适用于SQLSERVER, MySQL,具有自动/定时同步数据、无人值守、故障自动恢复、同构/异构数据库同步、断点续传和增量同步等功能,支持Windows xp以上所有操作系统,适用...
  • redis数据备份、恢复前言数据备份小时级备份天级备份RDB持久化工作流程 前言 在企业级的redis持久化中,RDB的生成策略,用默认的就差不多 AOF也一定要打开,fsync,everysec 数据备份 写crontab定时调度脚本去...
  • 重要的数据必须备份,并且必须实时备份,否则一旦出现意外情况,将会给服务器文件安全带来巨大灾难。那么,如何备份服务器文件呢?本文以Windows为例说明服务器文件备份的方法 方法一、通过专门的服务器文件备份...
  • 在整个备份系统中,数据备份管理系统软件的地位尤为重要,由于用户对全自动备份和集中式数据备份管理、在线式检索等的要求,浙江地税的备份管理软件采用了CA公司的BrightStor ARCserve 2000 Backup for Windows系列...
  • 企业数据备份方案

    2008-10-29 14:48:01
    企业数据备份方案各企业单位因其业务的特点,要求企业业务网络能够长时间的安全可靠的运行,以提供其工作人员和企业客户良好的经营环境。然而,随着计算机网络技术的发展和业务拓展的需要,很多企业相继开通了远程...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 6,651
精华内容 2,660
关键字:

数据备份方案