精华内容
下载资源
问答
  • 一、LVM磁盘分区创建及挂载 3 1.配置清单 3 2.操作步骤 3 二、Apache安装与配置 4 1.安装Apache 4 2.启动Apache相关模块 4 3.配置Apache 5 4.启动/停止Apache 5 三、keepalived安装与配置 6 1.安装keepalived 6 ...
  • 微服务双活体系建设

    2021-04-08 09:09:34
    双活数据中心入口路由算法 静态路由算法:基于IP地址进行选择 动态路由算法:分析链路和数据中心的负载情况,响应时间,优先级等进行路由 系统网关控制:通过网关制定规则实现流量分发 双活数据中心需要注意的问题...

    双机房部署

    • 双活数据中心入口路由算法
    1. 静态路由算法:基于IP地址进行选择
    2. 动态路由算法:分析链路和数据中心的负载情况,响应时间,优先级等进行路由
    3. 系统网关控制:通过网关制定规则实现流量分发
    • 双活数据中心需要注意的问题
    1. 脑裂现象:网络出现波动,通信终端,无法感知,各自为战,很难判断请求应该分发到哪个数据中心
    2. 运维相对复杂:数据同步问题,如何达到同步准实时
    3. 非零丢失:一个机房挂掉,另一个机房还没有及时同步最新数据的情况,只是非常少量的数据丢失,所以双活不能保证非零丢失

    基于支付场景的双活体系建设

    业务是否能够在一个机房完成整体业务的请求链条

    如支付业务:入口网关-支付交易-支付服务-支付路由-支付渠道,这5个服务形成了一个完整链条,追龙需要部署在同一个机房内,如果不在同一个机房,每次请求跨级机房,就需要性能损耗,需要进行较大改造

    应用程序双活

    应用程序双活一般分为三种:1.主机房接收请求;2.双机房同时接收请求,由入口网关做请求路由;3.双机房同时接收请求,由Nginx+Lua做请求路由。

     

    • 主机房接收请求

    只是主机房接收请求,备机房只做备份使用,缺点是资源利用率低。

    • 双机房同时接收请求,由入口网关做请求路由

    最简单的方法是在支付请求的时候包含一个唯一标识,如订单号,通过对订单号进行Hash求值来判断当前请求属于哪个机房,Hash算法和路由分发由入口网关系统承担。

    入口网关系统在支付业务中承担权限校验,限流,加密解密等作用,也可以进行请求分发,缺点是每次请求都要进入网关判断,对网关处理并发能力要求较高。

    • 双机房同时接收请求,由Nginx+Lua做请求路由

    所有请求在Nginx这一层由Lua语言根据标识做路由控制,不用再透传到入口网关进行系统判断。使用OpenRestry比较容易实现Nginx+Lua的整合。也可以参照分库分表使用一致性Hash算法,还可以提前按四个机房或留个机房来 Hash,通过路由分发等扩展方式。

    常用第三方组件如何进行双活

    zookeeper的数据同步

    使用场景配置中心,分布式锁,命名服务(分布式ID),分布式协调/通知,集群服务,注册中心等。

    常见数据同步方式有两种:

    1.利用Zookeeper Curator的TreeCache来实现

    这种方式优点是实现简单,缺点是可能会存在Watcher丢失的情况,通过TreeCacheListener对象可以实现对Zookeeper指定节点进行增加,删除,修改和更新事件的监听,当监听到相应时间后可以将获取的数据同步更新到另一个机房中。

    修改Zookeeper源码伪装观察者

    2.zookeeper有三种角色,Leader,Follower,Observer

    • Leader:作为集群的主节点,负责相应所有对Zookeeper状态变更的请求。它会将每个状态更新请求进行排序和编号,保证整个集群内部消息处理的FIFO。
    • Follower:相应服务器上的读请求,还要处理Leader的提议,并在Leader提交该提议时在本地也进行提交。
    • Observer:大多数情况下与Followe完全一致,但是他们不参加选举和投票,仅仅接收选举和投票的结果。

    Observer角色主要是为了提高负载能力,从而实现zookeeper读取的高吞吐,可以修改源码,伪装Observer角色从Leader上获取最新更新的数据,然后将数据同步到另一个机房的Zookeeper中就可以实现跨机房同步

    Redis数据同步

    1.主从机制进行数据同步

    主机房的redis配置为主,备机房的redis配置为从。

    目前官方还没有提供跨机房的主主同步机制。

     

    2.利用数据库的binlog数据进行同步

    应用正常写到Mysql数据库汇总

    Mysql数据库产生binlog日志

    同步组件读取binlog日志

    同步组件解析binlog日志后将数据同步到redis中,并同步到另一个机房的redis中。

     

    业务数据一致性

     

    Mysql主主同步方案

    使用Canal+Otter做数据同步方案

    可以同步不同库之间的异构表

    Canal+Otter可以实现一个表一线程,多个表多线程同步,速度更快,同时会压缩简化要传输的binlog,减少网络压力

    双A机房同步,目前Myql的M-M部署结构不支持解决数据一致性问题,基于Otter的双向复制+一致性算法,可在一定程度上解决这个问题,实现双A机房。

     

     

    展开全文
  • 本文主要向大家介绍了MySQL数据库之MySQL双活部署方案 ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助。Pactera文思海辉运维云系统MySQL双活部署方案目录1.概述51.1.本文目的52.安装MYSQL52.1.下载...

    本文主要向大家介绍了MySQL数据库之MySQL双活部署方案 ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助。

    Pactera 文思海辉

    运维云系统

    MySQL双活部署方案

    目录

    1.概述5

    1.1.本文目的5

    2.安装MYSQL5

    2.1.下载和安装5

    2.2.初始化密码7

    2.3.设置root权限7

    2.4.网络防火墙配置8

    3.部署数据库双活8

    3.1.架构配置8

    3.2.配置复制账户8

    3.3.Master to Slave 配置正向复制9

    3.4.Slave to Master 配置反向复制10

    3.5.验证复制11

    4.部署数据库集群13

    4.1.安装keepalived13

    4.2.配置Master服务器14

    4.3.配置Slave服务器16

    4.4.配置切换程序17

    4.5.验证集群18

    5.安装负载检测工具21

    本文由职坐标整理并发布,希望对同学们学习MySQL有所帮助,更多内容请关注职坐标数据库MySQL数据库频道!

    展开全文
  • MySQL高可用双活方案

    千次阅读 2019-12-02 18:11:10
    2.1 双活同步条件 2.1.1 自增主键 2.1.2 同步用户 2.1.3 启用BinLog 2.2 配置复制任务 2.2.1 单向复制任务 2.2.2 反向复制任务 2.3 启动复制任务 1 需求概述 多地业务系统直接读写某地A的MySQL中心...

    1 需求概述
    2 技术方案
        2.1 双活同步条件
            2.1.1 自增主键
            2.1.2 同步用户
            2.1.3 启用BinLog
        2.2 配置复制任务
            2.2.1 单向复制任务
            2.2.2 反向复制任务
        2.3 启动复制任务

     

    1 需求概述

    多地业务系统直接读写某地A的MySQL中心数据库数据,中心数据库数据实时同步到异地B的备份中心。当某地业务系统访问A地中心数据库失败时,则切换到B地备份数据库读写数据。对于B地备份中心产生的业务数据,需要实时回传至A地中心数据库库,确保A地业务中心与B地备份中心数据一致。

    目前业务中心数据库采用MySQL 5.6,系统已运行多年,表主键基本采用自增列,表之间存在主外键依赖关系。


    2 技术方案

    在异地备份中心部署北京灵蜂Beedup数据库复制软件,软件采用日志解析方式捕获数据库变化数据,并将变化数据同步到目标库,实时保持数据库数据一致。

    2.1 双活同步条件

    2.1.1 自增主键

    由于中心及备份数据库都会产生业务数据,导致中心或备份库产生的自增主键在跨库复制时会与目标库已有数据产生冲突,针对自增主键冲突问题有以下两种处理方式:
    一、直接复制
    调整数据库配置文件my.ini中的参数auto_increment_offset 和auto_increment_increment ,使得不同数据库产生的自增值不同,包含自增值的业务数据直接复制到目标库。
    二、目标库计算
    自增值在复制时由目标库重新计算产生,相关外键表数据在复制时自动调整外键值,以保持与主表数据的主外键依赖关系。
    由于自增值在复制前后会发生变化,需要在每张包含自增列的表中额外增加列origin_id bigint null,该列由Beedup自动创建并对应用系统透明,仅在数据同步到目标端时记录原来的自增值。

    2.1.2 同步用户

    对于主从库双向同步,需要在主从库单独建立同步用户,该用户仅用于Beedup连接数据库,不可用于其它场景。
    以同步用户sync为例,创建用户及权限分配语句如下:
    CREATE USER 'sync'@'%' IDENTIFIED BY 'xxxxx';
    GRANT SELECT,PROCESS,SUPER, REPLICATION CLIENT,REPLICATION SLAVE ON *.* TO 'sync'@'%';

    2.1.3 启用BinLog

    开启主从数据库二进制日志并设置日志格式为row。
    编辑my.ini文件
    log-bin="xxxxxx"
    binlog_format="ROW"

    2.2 配置复制任务

    Beedup复制任务用于将主库数据变化实时复制到从库。对于数据库双向复制,需要配置2个复制方向相反的任务,第一个任务用于复制业务中心变化到备份中心,第二个任务用于从备份中心复制变化到业务中心。

    2.2.1 单向复制任务

    配置业务中心到备份中心复制任务,操作如下。
    选择工具栏[新建]按钮,在任务属性对话框中依次设置主库及从库连接参数。

    对于业务中心到备份中心复制,勾选[全量复制]。

    选择[过滤]按钮,在[过滤选项]对话框设置忽略用户sync。

    如果自增值在复制时由目标库重新计算产生,则选择[集成]按钮,在[集成选项]对话框设置辅助列。

    注意:如果自增值可以直接复制,则无需设置集成选项。

    选择[确定]按钮关闭[任务属性]对话框,完成业务中心到备份中心的复制任务配置。

    2.2.2 反向复制任务

    配置备份中心到业务中心复制任务,操作如下。
    选择工具栏[新建]按钮,弹出任务属性对话框,依次设置主库及从库连接参数。

    对于备份中心到业务中心复制,取消 [全量复制] 勾选。

    选择[过滤]按钮,在[过滤选项]对话框设置忽略用户sync。

    如果自增值在复制时由目标库计算产生,则选择[集成]按钮,在[集成选项]对话框设置辅助列。

    注意:如果自增值可以直接复制,则无需设置集成选项。
    选择[确定]按钮关闭[任务属性]对话框,完成备份中心到业务中心的复制任务配置。

    2.3 启动复制任务

    依次选中任务sync和sync_inverse,然后选择工具栏[启动]按钮。

     

     

     

    展开全文
  • 热备,冷备,双活概念

    万次阅读 2019-10-11 20:25:00
    双活数据中心就是一个主数据中心和一个备份数据中心。一般为了防止出现突然状况而影响用户的使用,会建设两个或者两个以上的数据中心。 主数据中心用来承担用户的业务,而备份数据中心是为了备份主数据中心的数据,...

    双活数据中心就是一个主数据中心和一个备份数据中心。一般为了防止出现突然状况而影响用户的使用,会建设两个或者两个以上的数据中心。
    主数据中心用来承担用户的业务,而备份数据中心是为了备份主数据中心的数据,配置等。
    备份数据中心分为三种,热备,冷备和多备。
    热备主要是对主数据中心进行实时性的备份,进而在主数据中心出现故障后可以及时的替代,让用户不受影响的继续使用。
    冷备时,仍然是主数据中心担任用户的业务服务,但是冷备情况时,备份中心是不会对主数据中心进行实时性的备份,也就是说如果主数据中心出现故障,用户的业务也就中断了。
    双活数据中心主要的目的是让主备数据中心一同工作,既不浪费资源,又会让用户的业务不被轻易的中断,工作时仍然是主数据中心负载多点,备数据中心起到防御的工作,占少一半。
    【扩展资料】
    双活就是Active-Active,故名思义就是两边都是活动在线提供服务的,是相对于传统的主备模式Active-Standby模式的。一个真正的双活方案是应该涵盖基础设施、中间件、应用程序各个层次的。
    双活也分为两种,同城双活,异地双活。

    展开全文
  • 华为存储双活解决方案技术白皮书
  • HAM(High Availability Manager)是HDS在2009年正式发布的VSP存储第一代双活存储特性。HAM使主机将一对镜像LUN当成单个LUN,管理镜像LUN的主从关系并在需要时进行主从切换以保证该LUN对应用始终可用,采用多路径(HDLM...
  • DB2数据库(PureScale)双活方案设计要点

    千次阅读 2018-09-07 07:59:00
    即便是在双活环境出现CF和成员通信瓶颈也不是因为带宽,而是Db2集群内部通信的机制导致。所以对于RDMA网卡,冗余满足高可用即可。 成员CPU的估算是基于工作负载来的,直接比较的对象是单机的数据库资源配置。因为...
  • 两个节点可以采用简单的主模式,并且使用专线连接,在master_A节点发生故障后,应用连接快速切换到master_B节点,反之也亦然。有几个需要注意的地方,脑裂的情况,两个节点写入相同数据而引发冲突,同时把两个节点...
  • VMware双活数据心解决方案详解;2;3;作者;双活是两个或多个数据中心,每个都具有独立运行生产应用所需要的所有资源。此架构下所有的应用请求会被动态负载均衡到两个数据中心,当其中一个数据中心故障时,另外一个数据...
  • 基于阿里云的双活灾备方案的设计

    千次阅读 2019-03-19 19:56:41
    基于阿里云的双活灾备方案的设计 说起容灾备份方案,一般说来有下面这个发展方向: ​​ 下面简单介绍下各个方案的内容: 冷备:离线手工对数据进行容灾备份,当发生故障时,手工切换到备用环境 热备:实时...
  • 主要围绕以下五点进行分享:多当中的难点多的架构数据库改造DBA 挑战收益与展望多当中的难点我们先来看一下多的第一个难点:要考虑做多到底是同城的多还是异地的多。跨地域网络延时是现阶段很难突破的...
  • 本文根据朱祥磊老师在〖5月6日DBAplus社群济南数据库技术沙龙〗现场演讲...为什么要讲双活数据中心?从应用系统和系统保护来说,分这么几个角度: 首先做容灾,第一个要考虑的是主备,上图左侧是最早出现的主备...
  • 第一讲:双活容灾技术和方案概述

    千次阅读 2019-12-29 17:32:04
    不同的业务连续性要求不同的容灾技术和等级,在本专题课程中,主要聚焦双活方案(存储层、网络层,安全层、计算层、传输层、应用层等6层双活),其实现的效果:RTO/RPO均为0. 本号专注技术架构和行业解决方案,...
  • 对于数据实时同步,其核心是需要基于日志来实现,是可以...两个节点可以采用简单的主模式,并且使用专线连接,在master_A节点发生故障后,应用连接快速切换到master_B节点,反之也亦然。有几个需要注意的地方,脑...
  • 双活因为复杂的锁机制带来了阵列内部软件处理时延 。 这个时延是否能够抵消第1和第4步骤的传输时间节省,还需要是视情况而定 。还有一点需要特别注意的是随着系统负荷增长,IO流量越大,处理时延越长。  正如前面...
  • 作为业务系统的最后一道防线,IT数据灾备中心必须在极端状况下确保重要业务系统稳定运行。...作为灾备方案中的高级别的双活数据中心解决方案,成为应对传统灾备难题的一把利剑。传统的数据中心环境下,灾...
  • 后台服务可以划分为两类,有状态和无状态。高可用对于无状态的应用来说是比较简单的,无状态的应用,只需要通过F5或者任何代理的方式就可以很好的解决。 后文描述的主要是针对有状态的服务进行... 同城双活 异地
  • 针对数据中心双活解决方案如何构建,笔者把大家常见的疑问和问题进行汇总,加上我个人的见解写成一篇比较全面的文章,分享出来供大家参考。由于工作原因,可能今后近一个月的时间不能给及时大家写文章了,但是过了这...
  • 高可用的一些解决方案 高可用,从发展来看,大致经过了这几个过程: 冷备 双机热备 同城双活 异地双活 异地多活 在聊异地多活的时候,还是先看一些其他的方案,这有利于我们理解很多设计的缘由。 冷备 冷备,通过...
  • 后台服务可以划分为两类,有状态和无状态。高可用对于无状态的应用来说是比较简单的,无状态的应用,只需要通过F5或者任何代理的方式就可以很好的解决。... 同城双活 异地双活 异地多活 在聊异地多活的时候
  • 近年来,作为灾备方案中高级别的双活数据中心解决方案逐渐成为了应对传统灾备难题的一把利剑,它能够解决传统的灾备方案中资源利用率低、可用性差、出现故障时停机时间长、数据恢复慢、风险高等问题,但同时也带来了...
  • Clustered Metro Cluster(简称MCC)是Netapp Data Ontap提供的存储双活解决方案,当初的方案是把1个FAS/ V系列双控在数据中心之间拉远形成异地HA Pair,每站点只有单控制器节点,数据中心两站点之间通过额外的FC/VI...
  • 导读:本文将以Oracle RAC对接存储的双活方案架构为引子,针对Oracle ASM机制进行机制原理层阐述。Oracle ASM 是 Oracle 实例和存储阵列之间沟通的桥梁,深入了解ASM的工作机制,能够更好地融合 Oracle 数据库和存储...
  • 数据库双活思想

    2021-07-08 11:28:33
    binlog来做数据同步,通过域名+dns解析来切数据源,我们的程序连接池用的是hikariPool ,有断开重连的机制,如果底层切数据库,会有报错但是不用重启,但是这有一个过程,因为dns是有缓存的,不是每一个请求都会去...
  • 数据中心双活该如何构建

    万次阅读 2016-04-25 21:54:24
    双活本身其实有广义和狭义之分,但是在数据中心这个前提下,我们所说的双活就是广义上的应用、网络、存储和数据的端到端的数据中心双活,顾名思义,应用、网络、存储都应该是双活状态,当然在项目部署和实施过程中,...
  • 从两地三中心到双活数据中心两地三中心两地三中心的有几种实现形式,下图是一种典型案例。在这一案例中,正常情况下,业务运行在主机房的设备之上。主存储与辅存储存在单向同步关系,即主储存的所有数据变更都会实时...
  • 华为云双活仲裁服务器 内容精选换一换用于搭建用户本地数据中心与华为云VPC之间高速、低时延、稳定安全的专属连接通道,充分利用华为云服务优势的同时,继续使用现有的IT设施,实现灵活一体,可伸缩的混合云计算环境...
  • 双活存储基础知识

    千次阅读 2019-05-20 22:36:00
    双活特性中的两个数据中心互为备份,且都处于运行状态。当一个数据中心发生设备故障,甚至数据中心整体故障时,业务自动切换到另一个数据中心,解决了传统灾备业务无法自动切换的问题。提供给用户高级别的数据可靠性...
  • 双活数据中心方案

    千次阅读 2017-11-20 15:36:06
    二、全局站点双活解决方案 1 2.1 互联网区站点双活方案 1 2.2 互联网区站点故障切换 1 2.2.1 站点级故障切换 1 【专业术语说明】 GSLB: 全局站点负载均衡设备 SLB:本地服务器负载均衡 LLB: 多...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 19,932
精华内容 7,972
关键字:

双活机制