精华内容
下载资源
问答
  • Openfiler HA双活存储

    2018-08-23 12:52:18
    Openfiler2.99版本,Openfiler HA双活NAS存储, HA高可用方案。
  • 公司去年购置了一套双活存储,原本以为可以实现双活,但是出过几次故障,双活都没有生效。今天有时间又把存储工程师叫了过来,终于把问题搞明白了。 我们公司有两个办公地点,有个一个主机房和一个备机房。这两年双...
        

    公司去年购置了一套双活存储,原本以为可以实现双活,但是出过几次故障,双活都没有生效。今天有时间又把存储工程师叫了过来,终于把问题搞明白了。

    我们公司有两个办公地点,有个一个主机房和一个备机房。这两年双活比较火,大boss又比较感兴趣,后来就上了一套。后来出了几次小故障,问题一直没有搞清楚。

    今天挺吴军老师课程,吴老师说历史很多重点历史发现都是发生每次危机之后。每次出现问题我们总是从表面找问题,而很多伟大的科学家都是从问题原始动机找问题,也许我们出发时方向就错了。

    受到这问题启发,我也试着思考自己的初心是什么。竟然发现我们之前给备机房的定位出现问题。

    现在我们一致认为备机房应该承载业务,如果主机房故障备机房理应承担起来。可是现实却是备机房在物理上是独立的,在逻辑上却是依靠主机房。
    所以我们对双活理解错了,存储双活解决不了业务双活,竟然搞笑的认为存储双活了,服务器也都两边放够,网络都通了,最终就双活了。
    发现了认知错误后,我们重新给备机房定位。备机房目前不具备承载业务都能力,因而只做存储双活,不做业务双活。

    好了,上面就是我的一点小心得,分享给大家

    展开全文
  • 双活存储基础知识

    千次阅读 2019-05-20 22:36:00
    双活特性中的两个数据中心互为备份,且都处于运行状态。当一个数据中心发生设备... 存储系统为基础的存储双活架构,为客户建设业务不间断运行的解决方案,包括本地数据中心部署逻辑架构和跨数据中心部署逻辑架构。...

             双活特性中的两个数据中心互为备份,且都处于运行状态。当一个数据中心发生设备故障,甚至数据中心整体故障时,业务自动切换到另一个数据中心,解决了传统灾备业务无法自动切换的问题。提供给用户高级别的数据可靠性以及业务连续性的同时,提高存储系统的资源利用率。

          存储系统为基础的存储双活架构,为客户建设业务不间断运行的解决方案,包括本地数据中心部署逻辑架构和跨数据中心部署逻辑架构。

    • 本地数据中心部署

      通常部署在同园区的不同机房中。

      主机采用集群部署方式。主机与存储间通常通过交换机方式通信,支持FC交换机或IP交换机。同时存储侧部署存储双写镜像通道,保证双活业务的运行。

      方案逻辑示意图如图1所示。

      图1 本地数据中心部署
      zh-cn_image_0139338530.png

     

    数据I/O处理机制

    通过数据双写和DCL机制实现存储层数据的双活,两个数据中心同时对主机提供数据读写能力。

    写I/O流程

    实现两台存储设备数据一致的核心就是高效的锁分配机制和高效的数据双写机制。

    • 在业务运行中,数据变更可通过双写和DCL来完成同步。双写可以使得应用服务器的I/O请求同时下发到本端Cache和远端Cache,从而保证本端Cache与远端Cache的变更数据一致性。在一个数据中心故障时,DCL可以记录业务运行中数据中心的数据变更。待故障恢复后,同时跟踪变更数据同步到该数据中心的存储设备中,以防止变更的数据在同步过程中出现遗漏。
    • 具备双活特性的两台存储系统,能够同时处理主机的I/O请求。为了防止两台存储系统同一时间收到主机写请求修改同一个数据块,而发生数据冲突,需要设计锁分配机制来避免冲突,只有获取锁分配机制允许的存储系统才能写入数据。没有获取该数据库块锁分配机制允许的存储系统,需要等待待锁分配机制释放之后才能重新获取锁分配机制允许写。

    在业务运行中,当应用服务器下发I/O请求并引起数据变更时,双活I/O的写处理流程如图1所示。

    icon-note.gif 说明:

    以本次写I/O访问本端存储系统,通过本端存储系统对远端存储系统进行双写为例进行说明。

    图1 写I/O流程
    zh-cn_image_0128461803.png

    1. 主机下发写I/O到双活管理模块。
    2. 系统记录LOG。
    3. 执行双写:双活管理模块同时将该写I/O写入本端Cache和远端Cache。
    4. 本端Cache和远端Cache向双活管理模块返回写I/O结果。
    5. 根据4的结果进行处理:
      • 如果两端存储系统都返回写成功,则清除Log。
      • 如果任意一端返回写失败,则进行以下处理:
        1. 将Log转换成DCL,转换成功后清除Log,记录本端LUN和远端LUN的差异数据。
        2. 双活Pair关系断开,双活Pair的运行状态变为待同步。I/O变成单写,写成功的一端继续提供主机业务,写失败的一端停止主机业务。

      icon-note.gif 说明:

      根据存储系统记录的DCL,进行后台数据同步,待本端LUN和远端LUN的数据一致时,双活业务恢复。

    6. 返回主机I/O相应成功。
    读I/O流程

    两端的LUN数据实时同步,且都能提供主机读写访问。当任何一端存储系统故障的情况下主机将切换访问路径到正常的一端继续业务访问。

    双活读I/O流程如图2所示:

    图2 读I/O流程
    zh-cn_image_0123513600.png

    1. 应用服务器向双活管理模块申请读权限。
    2. 双活管理模块先从本端存储系统响应应用服务器的请求。
    3. 如果本端存储系统正常,则本端存储系统将数据返回给双活管理模块。
    4. 如果本端存储系统处于非正常状态,则通过双活管理模块去读远端存储系统的数据。远端存储系统将数据返回给双活管理模块。
    5. 应用服务器读I/O成功。

    转载于:https://www.cnblogs.com/zywu-king/p/10897033.html

    展开全文
  • 对于数据实时同步,其核心是需要基于日志来实现,是可以...两个节点可以采用简单的主模式,并且使用专线连接,在master_A节点发生故障后,应用连接快速切换到master_B节点,反之也亦然。有几个需要注意的地方,脑...

    对于数据实时同步,其核心是需要基于日志来实现,是可以实现准实时的数据同步,基于日志实现不会要求数据库本身在设计和实现中带来任何额外的约束。

    基于MySQL源生复制主主同步方案

    51efb6a78b9a805aae245f5e5980d447.png

    这是常见的方案,一般来说,中小型规模的时候,采用这种架构是最省事的。

    两个节点可以采用简单的双主模式,并且使用专线连接,在master_A节点发生故障后,应用连接快速切换到master_B节点,反之也亦然。有几个需要注意的地方,脑裂的情况,两个节点写入相同数据而引发冲突,同时把两个节点的auto_increment_increment(自增步长)和auto_increment_offset(自增起始值)设成不同值。其目的是为了避免master节点意外宕机时,可能会有部分binlog未能及时复制到slave上被应用,从而会导致slave新写入数据的自增值和原先master上冲突了,因此一开始就使其错开;当然了,如果有合适的容错机制能解决主从自增ID冲突的话,也可以不这么做,使用更新的数据版本5.7+,可以利用多线程复制的方式可以很大程度降低复制延迟,同时,对复制延迟特别敏感的另一个备选方案,是semi-sync半同步复制,基本上无延迟,不过事务并发性能会有不小程度的损失,特别是在双向写的时候,需要综合评估再决定。

    5e0173ee0a9ae65ae50366757c8ec055.png

    基于Galera replication方案

    Galera是Codership提供的多主数据同步复制机制,可以实现多个节点间的数据同步复制以及读写,并且可保障数据库的服务高可用及数据一致性,基于Galera的高可用方案主要有MariaDB Galera Cluster和Percona XtraDB Cluster(简称PXC)

    be28897508f89b1a93ef6516db251ccd.png

    70674c967235a0699850d9146ae39999.png

    目前PXC用的会比较多一些,数据严格一致性,尤其适合电商类应用,不过PXC也是有其局限性的,如果并发事务量很大的话,建议采用InfiniBand网络,降低网络延迟,因为PXC存在写扩大以及短板效应,并发效率会有较大损失,类似semi-sync半同步复制,Gelera实际只能用三个节点,网络抖动造成的性能和稳定性习惯性问题

    基于Group Replication方案

    03dab630c7a573bc9857f00855019eb2.png

    通过Paxos协议提供数据库集群节点数据强一致保证,MGR准确来说是MySQL官方推出的高可用解决方案,基于原生复制技术,并以插件的方式提供,并且集群间所有节点可写入,解决了单个集群的写入性能,所有节点都能读写,解决网络分区导致的脑裂问题,提升复制数据的可靠性,不过现实还是有些残酷,目前尝鲜的并不是很多,同时仅支持InnoDB表,并且每张表一定要有一个主键,用于做write set的冲突检测,必须打开GTID特性,二进制日志格式必须设置为ROW,用于选主与write set

    COMMIT可能会导致失败,类似于快照事务隔离级别的失败场景,目前一个MGR集群最多支持9个节点,不支持外键于save point特性,无法做全局间的约束检测与部分部分回滚,二进制日志不支持binlog event checksum

    基于canal方案

    对于数据库的实时同步,阿里巴巴专门有一个开源项目,即otter来实现分布式数据库的同步复制,其核心思想仍然是通过获取数据库的增量数据日志,来进行准实时的同步复制。因此otter本身又依赖于另外一个开源项目即canal,该项目重点则是获取增量数据库同步日志信息。

    当前otter的重点是实现mysql间的数据库同步复制,基本即利用的类似技术来实现两个mysql数据库间的双向同步数据库复制。要注意这个双向本身指既可以A->B,也可以从B->A,在某个时间节点本身是单向的。

    主从复制分成三步:

    d7438cab0fe4e3c4988b81db09fbc641.png

    master将改变记录到二进制日志(binary log)中(这些记录叫做二进制日志事件,binary log events,可以通过show binlog events进行查看);

    slave将master的binary log events拷贝到它的中继日志(relay log);

    slave重做中继日志中的事件,将改变反映它自己的数据。

    canal原理相对比较简单:

    61828cb1a4df31f4feb92c1327dfd016.png

    canal模拟mysql slave的交互协议,伪装自己为mysql slave,向mysql master发送dump协议

    mysql master收到dump请求,开始推送binary log给slave(也就是canal)

    canal解析binary log对象(原始为byte流)

    更多参考 https://github.com/alibaba/canal

    展开全文
  • 导读:本文将以Oracle RAC对接存储双活方案架构为引子,针对Oracle ASM机制进行机制原理层阐述。Oracle ASM 是 Oracle 实例和存储阵列之间沟通的桥梁,深入了解ASM的工作机制,能够更好地融合 Oracle 数据库和存储...

    导读:本文将以Oracle RAC对接存储的双活方案架构为引子,针对Oracle ASM机制进行机制原理层阐述。Oracle ASM 是 Oracle 实例和存储阵列之间沟通的桥梁,深入了解ASM的工作机制,能够更好地融合 Oracle 数据库和存储阵列两者的关系,最优化地针对 Oracle 数据库提供存储级解决方案!

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • windows下双活方案 - 场景:两台WindowsServer上分别安装了两个mysql数据库(主主互备) - 说明:在其中一台机器上安装mysql-router,配置destinations(mysql server列表)为两台WindowsServer主机,模式为read-write,...
  • 以上两个问题的回答都是肯定的,答案正是戴尔创新的PowerEdge FX2融合体系结构模块化服务器和SC4020 Live Volume双活存储,这套解决方案在一个用户项目中碰撞出了火花。 项目背景 某用户的三网改造项目,即将...
  • 浪潮存储双活

    千次阅读 2019-05-27 20:29:28
    浪潮-存储双活解决方案研究 ...双活存储意思是主存储设备和备用存储设备同时发挥作用,通过镜像同步数据。 好处是可以实现业务的连续性;有效利用资源。 浪潮AS-V使用虚拟卷镜像和节点分离两个核心...
  • No.3【数据一致性风险】跨中心的双活存储数据一致性如何保障? No.4【数据同步逻辑错误】存储跨中心双活是块存储的同步,无法避免逻辑错误被同步,出现该问题又该如何防范? No.5【双中心间通讯不可控】存储跨中心...
  • 双活存储意思是主存储设备和备用存储设备同时发挥作用,通过镜像同步数据。 好处是可以实现业务的连续性;有效利用资源。 浪潮AS-V使用虚拟卷镜像和节点分离两个核心功能,实现数据存储的双活构建...
  • 存储双活

    2019-10-01 12:40:50
    小到人为的误操作,大到地震,这都有很大的可能会导致数据丢失,即使这些外在的风险都没有,那么存储存储在物理介质上的,物理介质也有使用寿命,也会慢慢老化。 如果痛苦、尴尬再所难免,我们最好有所准备------...
  • 业界主流数据中心存储双活完全解析,双活应用部署方式,双活仲裁部署方式,双活应用的外部访问,基于网关的双活技术,双活方案的基本技术条件等多方面,多维度介绍存储双活技术,并详细介绍NetApp、IBM、HDS、华为、...
  • HAM(High Availability Manager)是HDS在2009年正式发布的VSP存储第一代双活存储特性。HAM使主机将一对镜像LUN当成单个LUN,管理镜像LUN的主从关系并在需要时进行主从切换以保证该LUN对应用始终可用,采用多路径(HDLM...
  • 华为存储双活解决方案技术白皮书
  • IBM存储双活解决方案

    2019-01-29 09:33:23
    IBM针对行业双活数据中心建设技术分享,并列出部分案例。
  • 基于准双活容灾存储技术的云计算数据中心存在基础设备出现故障时需手动切换业务系统、业务恢复时间长等问题。为了解决这个问题,本文采用了NetApp 3250双活容灾存储技术MetroCluster构建了一个真正意义上的双活...
  • 本文主要向大家介绍了MySQL数据库之MySQL双活部署方案 ,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助。Pactera文思海辉运维云系统MySQL双活部署方案目录1.概述51.1.本文目的52.安装MYSQL52.1.下载...
  • 突破存储跨中心双活方案设计阶段难点(一):脑裂风险存储跨中心双活方案设计阶段该如何尽量避免脑裂?如何避免脑裂是每个双机系统都要重视的问题,存储双活系统尤其如此,脑裂会带来长时间的存储读写IO HANG住,轻则...
  • 刚给客户配置完双机双柜存储双活,双活就是双节点RAC+底层双存储.记录一下 详细磁盘规划如下: 存储1 存储2 第三方仲裁 OCR_1盘 OCR_2盘 采用NFS (DATA1 DATA2 DATA3 DATA4)(故障组1) (DATA5 DATA6 DATA7 ...
  • 针对双活数据中心设计阶段,存储层面十大难点解析与对比,最终选择使用自身条件的技术架构
  • 1、管理口:以太网,用于管理及和witness建立IPSEC加密隧道2、COM控制线:传输控制信令3、FC数据线:传输IO数据部署场景为建设同城双活数据存储虚拟化,存储厂家建议数据中心之间链路时延在3ms之内。实测数据中心裸...
  • 存储双活已家喻户晓人人皆知,但是,你知道存储双活+虚拟化+应用集群,应该如何部署呢?
  • 存储双活方案中,需要保证端到端的双活(应用,Hypervisor,网络,存储等),VMWare等虚拟化支持双活是必须的,否则就无法实现业务端到端双活透明切换。下面详细讨论具体细节。 首先存储需要支持双活。目前主流存储...
  • 存储双活保业务永续

    2015-01-10 10:23:21
    HDS提出了一种新的双活模式——GAD(Global-Active Device),基于存储实现双活,为业务连续性提供了坚实保障。 今天,保证7×24小时的业务连续性和数据随时随地可访问,已经不再是大型企业客户的“专利”,而是普通...
  • 本地或远程(近距离)存储高可用方案 配置 两台高端存储VSP存储系统; 两台存储通过TC同步复制,保持数据一致 通过虚拟化外部存储作为Quorum Disk 客户收益 当存储系统出现故障时,应用系统能够自动的,不停机的...
  • 华为存储双活解决方案技术白皮书,对学习存储架构和双活架构的朋友很有实用价值!
  • Oracle 存储双活背景介绍 OracleRAC 在设计的时候只是考虑应用的高可用,即通过一个共享存储,搭建2个或者多个 Oracle 实例,对外提供 Oracle 服务,没有考虑到这个共享存储的故障问题。而 ADG 只是提供了数据级别的...

空空如也

空空如也

1 2 3 4 5 ... 13
收藏数 257
精华内容 102
关键字:

双活存储