精华内容
下载资源
问答
  • mysql主从复制
    2022-09-05 16:52:28

    1. 概述

    MySQL的主从复制功能可以帮助我们实现负载均衡读写分离
    对于主服务器来说,主要负责写,从服务器主要负责读,这样的话,就会大大减轻压力,从而提高效率。

    主从复制可以分为:

    • 主从同步:当用户写数据主服务器必须和从服务器同步了才告诉用户写入成功,等待时间比较长。
    • 主从异步:只要用户对主服务器写数据成功,立即返回给用户。
    • 主从半同步:当用户访问主服务器写数据成功,并同步其中一个从服务器成功就返回给用户成功。

    主从架构有以下几种形式:

    • 一主一从
    • 一主多从:一主多从是我们现在见的最多的主从架构,使用起来简单有效,不仅可以实现HA,而且还能读写分离,进而提升集群的并发能力。
    • 多主一从
    • 双主复制:双主复制,也就是可以互做主从复制,每个master既是master,又是另外一台服务器的salve。这样任何一方所做的变更,都会通过复制应用到另外一方的数据库中。
    • 级联复制:级联复制模式下,部分slave的数据同步不连接主节点,而是连接从节点。因为如果主节点有太多的从节点,就会损耗一部分性能用于replication,那么我们可以让3~5个从节点连接主节点,其他从节点作为二级或者三级与从节点连接,这样不仅可以缓解主节点的压力,而且对数据一致性没有负面影响。
      在这里插入图片描述

    2. 工作原理

    MySQL主从复制是基于主服务器在二进制日志跟踪所有对数据库的更改。因此,要进行复制,必须在主服务器上启用二进制日志。

    2.1 工作过程

    MySQL的主从复制工作过程大致如下:

    1. 从库生成两个线程,一个I/O线程,一个SQL线程;
    2. I/O线程去请求主库的binlog,并将得到的binlog日志写到relay(中继日志)文件中;
    3. 主库会生成一个log dump线程,用来给从库I/O线程传输binlog;
    4. SQL线程会读取中继日志文件中的日志,并解析成具体操作,来实现主从的操作一致,实现数据一致。
      在这里插入图片描述

    3. 复制方式

    MySQL主从复制支持语句复制行数据复制两种不同的日志格式,这两种日志格式也对应了各自的复制方式。当然也有二者相结合的混合类型复制。

    3.1 语句复制

    基于语句的复制相当于逻辑复制,即二进制日志中记录了操作的语句,通过这些语句在从数据库中重放来实现复制。
    这种方式简单,二进制文件小,传输带宽占用小。但是基于语句更新依赖于其他因素,比如插入数据时利用了时间戳。
    因此在开发当中,我们应该尽量将业务逻辑放在代码层,而不应该放在MySQL中,不易扩展。
    特点:

    • 传输效率高,减少延迟。
    • 在从库更新不存在的记录时,语句赋值不会失败。而行复制会导致失败,从而更早发现主从之间的不一致。
    • 设表里有一百万条数据,一条sql更新了表所有数据,基于语句的复制仅需要发送一条sql,而基于行的复制需要发送一百万条更新记录。
    3.2 行数据复制

    基于行的复制相当于物理复制,即二进制日志中记录的实际更新数据的每一行。
    这样导致复制的压力比较大,日志占用的空间大,传输带宽占用大。但是这种方式比基于语句的复制要更加精确
    特点:

    • 不需要执行查询计划。
    • 不知道执行的到底是什么语句
    3.3 混合类型的复制

    一般情况下,默认采用基于语句的复制,一旦发现基于语句无法精确复制时,就会采用基于行的复制。

    3.4 配置
    # 如果在双主复制结构中没有设置ID的话就会导致循环同步问题
    server_id=1
    
    # 即日志中记录的是语句还是行更新或者是混合
    binlog_format=mixed
    
    # 在进行n次事务提交以后,Mysql将执行一次fsync的磁盘同步指令。将缓冲区数据刷新到磁盘。
    # 为0的话由Mysql自己控制频率。
    sync_binlog=n
    
    # 为0的话,log buffer将每秒一次地写入log file中并且刷新到磁盘。
    # mysqld进程崩溃会丢失一秒内的所有事务。
    # 为1的话,每次事务log buffer会写入log file并刷新到磁盘。(较为安全)
    # 在崩溃的时候,仅会丢失一个事务。
    # 为2的话,每次事务log buffer会写入log file,但一秒一次刷新到磁盘
    innodb_flush_logs_at_trx_commit=0
    
    # 阻止从库崩溃后自动启动复制,给一些时间来修复可能的问题,
    # 崩溃后再自动复制可能会导致更多的问题。并且本身就是不一致的
    skip_slave_start=1 
    
    # 是否将从库同步的事件也记录到从库自身的bin-log中
    # 允许备库将重放的事件也记录到自身的二进制日志中去,可以将备库当做另外一台主库的从库
    log_slave_update 
    
    # 日志过期删除时间,延迟严重的话会导致日志文件占用磁盘
    expire_logs_days=7
    

    4. 主从延迟问题

    解决方法:

    • 网络方面:尽量保证主库和从库之间的网络稳定,延迟较小。(最好在同一局域网内)
    • 硬件方面:配置更好的硬件,提升随机写的性能。
    • 配置方面:尽量使MySQL的操作在内存中完成,减少磁盘操作。升级MySQL5.7版本使用并行复制
    • 构建方面:在事务中尽量对主库进行读写,其他非事务的读在从库。消除一部分延迟带来的数据不一致。

    并行复制
    在MySQL5.6版本前,从库复制主库时,sql线程是单线程的,MySQL5.6版本后引入并行复制,并行复制就是在中间加了一个分发任务的环节,也就是说原来的SQL Thread变成了现在的Coordinator组件,当日志来了之后,Coordinator负责读取日志信息以及分发事务,真正的日志执行的过程是放在了worker线程上,由多个线程并发的去执行。并发复制可以一定程度上解决主从延时的问题。
    在这里插入图片描述

    5. 数据丢失

    当主机宕机后,数据可能丢失。
    解决方法:
    使用半同步复制,可以解决数据丢失的问题。

    6. 主从复制作用

    主从复制带来了很多好处,当我们的主服务器出现问题,可以切换到从服务器;可以进行数据库层面的读写分离;可以在从数据库进行日常的备份。还可以保证:

    1. 数据更安全:做了数据冗余,不会因为单台服务器的宕机而丢失数据。
    2. 性能大大提升:一主多从,不同用户从不同数据库读取,性能提升。
    3. 扩展性更优:流量增大时,可以方便的增加从服务器,不影响系统使用。
    4. 负载均衡:一主多从相当于分担了主机任务,做了负载均衡。
    更多相关内容
  • mysql_master_slave.zip
  • 在异步或半同步的复制结构中,从库出现延迟是一件十分正常的事。 虽出现延迟正常,但是否需要关注,则一般是由业务来评估。 如:从库上有需要较高一致性的读业务,并且要求延迟小于某个值,那么则需要关注。 简单...
  • 主要给大家介绍了关于MySQL主从复制的几种复制方式,文中通过示例代码介绍的非常详细,对大家学习或者使用MySQL具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
  • 其中db1和db2是计划进行主从复制的库,如果有多个,写多行即可。配置完毕后,重启数据库: service mysqld restart 2. 添加复制用户 通过phpmyadmin,添加新用户,并授予REPLICATION SLAVE权限。或者通过root用户...
  • MYSQL主从复制

    2018-11-03 20:49:21
    康赛DBA讲解的MSYQL主从复制专题,讲解深入详解。需要视频的可加QQ:473698708
  • MySQL主从复制的常见拓扑、原理分析以及如何提高主从复制的效率总结
  • MySQL主从复制,读写分离的设置非常简单: 修改配置my.cnf文件 master 和 slave设置的差不多: [mysqld] log-bin=mysql-bin server-id=222 log-bin=mysql-bin的意思是:启用二进制日志。 server-id=222的意思是...
  • 今天搭建mysql主从复制,一直报这个错。我是在一台虚拟机上使用多实例创建的2个不同端口的数据库,查了很久,才解决。 1.检查主从复制的用户名密码; 2.检查MASTER_LOG_FILE和MASTER_LOG_POS。  记住配置从库的命令...
  • 本文实践了用Docker方式来实现基于binlog的MySql主从复制。关于MySql主从复制的原理将在下一篇中进行讲解。 一些数据的本地存储目录结构 mysql >tree -L 2 . ├── data │ ├── master01 │ └── slave01 ├...
  • 什么是MySQL主从复制  简单来说,是保证主SQL(Master)和从SQL(Slave)的数据是一致性的,向Master插入数据后,Slave会自动从Master把修改的数据同步过来(有一定的延迟),通过这种方式来保证数据的一致性,是...
  • 自己整理的关于mysql主从复制相关的配置和一些关于在mysql主从复制运行的过程中遇到的问题和相关的解决方法
  • 生产环境中为了保证系统的兼容与稳定,在搭建服务器时就应该配置主从复制,主从服务器中的MySQL版本尽量一致。但有时难以保证版本的一致,或者在学习过程中遇到版本不兼容的问题,就容易遇到各种奇葩的故障。本文...
  • 本文档详细介绍了MySQL主从复制和主主复制的步骤。文档共分为3部分:1.主从复制 2.主主复制 3.常用明命令。希望对大家有所帮助。
  • 怎么安装mysql数据库,这里不说了,只说它的主从复制,步骤如下:  1、主从服务器分别作以下操作:  1.1、版本一致  1.2、初始化表,并在后台启动mysql  1.3、修改root的密码  2、修改主服务器master:  ...
  • MySQL 主从复制模式全面实践,很详细,很不错,建议下载看看
  • 使用MySQL+keepalived是一种非常好的解决方案,在MySQL-HA环境中,MySQL互为主从关系,这样就保证了两台 MySQL数据的一致性,然后用keepalived实现虚拟IP,通过keepalived自带的服务监控功能来实现MySQL故障时自动...
  • MySQL主从复制是实现应用的高性能,高可用的基础。对于数据库读操作较密集的应用,通过使数据库请求负载均衡分配到不同MySQL服务器,可有效减轻数据库压力。当遇到MySQL单点故障中,也能在短时间内实现故障切换。...
  • Mysql主从复制

    2021-03-04 00:25:20
    Mysql主从复制背景:Mysql可以实现主从复制,在学习了Mysql主从复制后,将一些如何主从复制过程记录下来,供以后复习使用。准备:在做Mysql的主从复制前需要做一些准备工作:1、同步时间做主从的服务器的时间需要...

    Mysql主从复制

    背景:

    Mysql可以实现主从复制,在学习了Mysql主从复制后,将一些如何主从复制过程记录下来,供以后复习使用。

    准备:

    在做Mysql的主从复制前需要做一些准备工作:

    1、同步时间

    做主从的服务器的时间需要同步,不然会出问题。

    命令:ntpdate ip (ntpdate命令需要先安装ntpdate)

    2、版本一致

    做主从的Mysql服务需要版本一致,或者从服务器的版本高于主服务器。

    主从复制:

    步骤1、安装Mysql服务

    yum install mysql-server mysql

    如果是Centos7版本:yum install mariadb-server mariadb (7上base源里已经换成了mariadb,不过我们使用方式和Mysql是差不多的)

    步骤2、配置主服务器

    1)编辑主服务器配置文件/etc/my.cnf

    ad6f1dfd3ecbf4c05ef16052330a11f2.png

    PS:注意日志文件的权限问题,修改bin_log的所有者和所属组为mysql;命令:chown mysql.mysql /app/bin_log

    2)启动服务并添加主从复制需要的帐号

    CentOS6:service mysqld start

    CentOS7:systemctl start mariadb

    添加帐号供从服务器使用

    bd6d2efe00611231d60a3ee23410abcf.png

    3)查看主服务器日志文件和位置

    00d218d8131cc8061f80d9c03d93cded.png

    步骤3、配置从服务器

    1)编辑配置文件

    8a8698e9d4792276dc86e773e173cd1b.png

    read_only=ON是只读的意思,从数据库不允许写数据,如果可以写数据那就失去了它存在的意义

    2)启动服务和添加主服务器

    启动服务:service mysql start

    e8285cea065752074087afba58f63360.png

    PS:一定要注意主服务二进制日志版本到哪了,同步时需要同步最新的二进制文件。

    步骤4、测试

    1)在主数据库服务器创建一个数据库

    5ddd14ffad87c4dcc0ce72704a9a491b.png

    2)在从mysql从服务器查看是否生成创建的数据库

    6ca5324af8c638a54da8eacc95fcc828.png

    到此mysql的主从复制已完成。

    展开全文
  • (1)首先,mysql主库在事务提交时会把数据库变更作为事件Events记录在二进制文件binlog中;mysql主库上的sys_binlog控制binlog日志刷新到磁盘。 (2)主库推送二进制文件binlog中的事件到...Mysql通过3个线程来完成主从
  • 主要介绍了Mysql主从复制作用和工作原理详解,主从复制,是用来建立一个和主数据库完全一样的数据库环境,称为从数据库,主数据库一般是准实时的业务数据库,需要的朋友可以参考下
  • MySQL主从复制与读写分离
  • MySQL主从复制与读写分离

    千次阅读 2022-02-16 15:24:41
    一、MySQL主从复制与读写分离概念 1、什么是读写分离? 读写分离,基本的原理是让主数据库处理事务性增、改、删操作(INSERT、 UPDATE、DELETE) ,而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的...

    目录

    一、MySQL主从复制与读写分离概念

    二、搭建MySQL主从复制

    2.1 Mysql主从服务器

    2.2 主服务器的mysql配置

    2.3 从服务器的mysql配置

     2.4 验证主从复制效果

    三、MySQL主从复制的几个同步模式

    主数据库配置

    从数据库配置

    五、MySQL主从复制延迟

    六、搭建 MySQL 读写分离

           安装 Java 环境

          安装 Amoeba软件

          在主从服务器的mysql上授权

    配置 Amoeba读写分离,两个 Slave 读负载均衡

    修改amoeba配置文件

    修改数据库配置文件

     测试读写分离


    一、MySQL主从复制与读写分离概念

    1、什么是读写分离? 读写分离,基本的原理是让主数据库处理事务性增、改、删操作(INSERT、 UPDATE、DELETE) ,而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

    2、为什么要读写分离呢? 因为数据库的“写”(写10000条数据可能要3分钟)操作是比较耗时的。 但是数据库的“读”(读10000条数据可能只要5秒钟)。 所以读写分离,解决的是,数据库的写入,影响了查询的效率。

    3、什么时候要读写分离? 数据库不一定要读写分离,如果程序使用数据库较多时,而更新少,查询多的情况下会考虑使用。利用数据库主从同步,再通过读写分离可以分担数据库压力,提高性能。

    4、主从复制与读写分离 在实际的生产环境中,对数据库的读和写都在同一个数据库服务器中,是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此,通过主从复制的方式来同步数据,再通过读写分离来提升数据库的并发负载能力。有点类似于rsync,但是不同的rsync是对磁盘文件做备份,而mysql主从复制是对数据库中的数据、语句做备份。

    5、mysq支持的复制类型

    (1) STATEMENT: 基于语句的复制。在服务器上执行sql语句,在从服务器上执行同样的语句,mysql默 认采用基于语句的复制,执行效率高。

    (2)ROW:基于行的复制。把改变的内容复制过去,而不是把命令在从服务器上执行一遍。

    (3) MIXED: 混合类型的复制。默认采用基于语句的复制,一 旦发现基于语句无法精确复制时,就会采用基于行的复制。

    6、主从复制的工作过程

    (1) Master 节点将数据的改变记录成二进制日志(bin log),当Master. 上的数据发生改变时,则将其改变写入二进制日志中。

    (2) Slave节点会在一定时 间间隔内对Master的二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/0线程请求Master的二进制事件。

    (3)同时Master节点为每个I/O线程启动一个dump线程,用于向其发送二进制事件,并保存至Slave节点本地的中继日志( Relaylog) 中,Slave节点将启动SQL线程从中继日志中读取二进制日志,在本地重放,即解析成sql 语句逐一 执行,使得其数据和Master节点的保持一致,最后I/0线程和SQL线程将进入睡眠状态,等待下一次被唤醒。

     

    注:

    ●中继日志通常会位于os缓存中,所以中继日志的开销很小。

    ●复制过程有一个很重要的限制,即复制在Slave.上是串行化的,也就是说Master上的并行更新操作不能在Slave上并行操作。

    二、搭建MySQL主从复制

    2.1 Mysql主从服务器

    ##主服务器设置##
    yum install ntp -y
    
    vim /etc/ntp. conf
    --末尾添加--
    server 127.127.80.0           #设置本地是时钟源,注意修改网段
    fudge 127.127.80.0 stratum 8               #设置时间层级为8 ( 限制在15内)
    
    service ntpd start
    
    ##从服务器设置##
    yum install ntp ntpdate -Y .
    service ntpd start
    /usr/sbin/ntpdate 192.168.80.10          #进行时间同步
    
    crontab -e
    */30****/usr/sbin/ntpdate 192.168.80.10

     网段为130

     

     

     从服务器设置

     

     查询   可见 主从时间已同步

     

     

      

    2.2 主服务器的mysql配置

    vim /etc/my.cnf
    server-id = 11
    log-bin=mysql-bin  #添加,主服务器开启二进制日志
    binlog_ format = MIXED
    log-slave -updates=true      #添加,允许slave从master复制数据时可以写入到自己的二进制日志
    expire_ logs_ days = 7        #设置二进制日志文件过期时间,默认值为0,表示logs不过 期
    max_ binlog_ size = 500M         #设置二进制日志限制大小,如果超出给定值,日志就会发生滚动,默认值是1GB
    
    systemctl restart mysqld
    
    mysql -uroot -pabc123
    GRANT REPLICATION SLAVE ON *.* TO 'myslave'@'192.168.80.8' IDENTIFIED BY '123456';     #给从服务器授权
    FLUSH PRIVILEGES;
    
    show master status ;
    //如显示以下
    | File| Position | Binlog_ _Do_ _DB | Binlog_ Ignore_ DB I
    ----+----------+--------------+------------------+
    | mysql-bin.000002 I   339 |
    
    ----+----------+--------------+------------------+
    
    1 row in set (0.00 sec)
    
    File 列显示日志名,Position 列显示偏移量

     

     

     File 列显示日志名,Position 列显示偏移量

    2.3 从服务器的mysql配置

    vim /etc/my.cnf
    server-id = 22         #修改,注意id与Master的不同,两个Slave的id也要不同
    relay-log=relay-log-bin            #添加,开启中继日志,从主服务器上同步日志文件记录到本地
    relay-log-index=slave-relay-bin.index         #添加,定义中继日志文件的位置和名称,一般 和relay-log在同一目录
    relay_1og_recovery = 1      #选配项
    
    #当slave从库宕机后,假如relay-log 损坏了,导致一部分中继日志没有处理,则自动放弃所有未执行的relay-log, 并且重新从master. 上获取日志,这样就保证了relay-log 的完整性。默认情况下该功能是关闭的,将relay_ 1og_ recovery 的值设置为1时,可在slave从库上开启该功能,建议开启。
    
    systemctl restart mysqld
    
    mysql -u root -pabc123
    CHANGE master to
    master_ host='192.168.80.10' , master_ _user= ' myslave' , master_ _password=' 123456' , master_ 1og_ file=' mysql-bin.000002' , master_ _log_
    pos=339;    #配置同步,注意master_ _log_ file和master_ _log_ pos的值要与Master查询的一致
    
    start slave;            #启动同步,如有报错执行reset slave;
    show slave status\G      #查看Slave 状态
    
    //确保IO和SQL线程都是Yes, 代表同步正常。
    Slave_ IO_ Running: Yes         #负责与主机的io通信
    Slave_ SQL_ Running: Yes           #负责自己的slave mysql进程

     

     

     

    从 2

     

     

     

     

    #一般Slave_ IO_ Running: No的可能性:
    1、网络不通
    2、my. cnf配置有问题
    3、密码、file文件名、pos偏移量不对
    4、防火墙没有关闭

     2.4 验证主从复制效果

    主服务器上进入执行 create database test

     

     

    三、MySQL主从复制的几个同步模式

    异步复制(Asynchronous replication)

    MySQL默认的复制即是异步的,主库在执行完客户端提交的事务后会立即将结果返给客户端,并不关心从库是否已经接收并处理,这样就会有一个问题,主如果crash掉了,此时主上已经提交的事务可能并没有传到从上,如果此时,强行将从提升为主,可能导致新主上的数据不完整。
     

    全同步复制(Fully synchronous replication)

    指当主库执行完一个事务,所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回,所以全同步复制的性能必然会收到严重的影响。
     

    半同步复制(Semisynchronous replication)

    介于异步复制和全同步复制之间,主库在执行完客户端提交的事务后不是立刻返回给客户端,而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制,半同步复制提高了数据的安全性,同时它也造成了一定程度的延迟,这个延迟最少是一个TCP/IP往返的时间。所以,半同步复制最好在低延时的网络中使用。

    主数据库配置

    vim /etc/my.cnf				#在[mysqld]区域添加下面内容
    ......
    plugin-load=rpl_semi_sync_master=semisync_master.so			#加载mysql半同步复制的插件
    rpl_semi_sync_master_enabled=ON								#或者设置为"1",即开启半同步复制功能
    rpl-semi-sync-master-timeout=1000							#超时时间为1000ms,即1s
    
    systemctl restart mysqld
    

    从数据库配置

    vim /etc/my.cnf	
    ......
    plugin-load=rpl_semi_sync_slave=semisync_slave.so
    rpl_semi_sync_slave_enabled=ON
    
    systemctl restart mysqld
    
    #------查看半同步是否在运行------
    #主数据库执行
    show status like 'Rpl_semi_sync_master_status';
    show variables like 'rpl_semi_sync_master_timeout';
    
    #从数据库执行(此时可能还是OFF状态,需要在下一步重启IO线程后,从库半同步状态才会为ON)
    show status like 'Rpl_semi_sync_slave_status';
    
    #重启从数据库上的IO线程
    STOP SLAVE IO_THREAD;
    START SLAVE IO_THREAD;
    
    #在主库查询半同步状态
    show status like '%Rpl_semi%';	
    
    参数说明:
    Rpl_semi_sync_master_clients              		#半同步复制客户端的个数
    Rpl_semi_sync_master_net_avg_wait_time    		#平均等待时间(默认毫秒)
    Rpl_semi_sync_master_net_wait_time        		#总共等待时间
    Rpl_semi_sync_master_net_waits            		#等待次数
    Rpl_semi_sync_master_no_times             		#关闭半同步复制的次数
    Rpl_semi_sync_master_no_tx                		#表示没有成功接收slave提交的次数
    Rpl_semi_sync_master_status               		#表示当前是异步模式还是半同步模式,on为半同步
    Rpl_semi_sync_master_timefunc_failures    		#调用时间函数失败的次数
    Rpl_semi_sync_master_tx_avg_wait_time     		#事物的平均传输时间
    Rpl_semi_sync_master_tx_wait_time         		#事物的总共传输时间
    Rpl_semi_sync_master_tx_waits             		#事物等待次数
    Rpl_semi_sync_master_wait_pos_backtraverse		#可以理解为"后来的先到了,而先来的还没有到的次数"
    Rpl_semi_sync_master_wait_sessions        		#当前有多少个session因为slave的回复而造成等待
    Rpl_semi_sync_master_yes_tx               		#成功接受到slave事物回复的次数
    

    当半同步复制发生超时(由rpl_semi_sync_master_timeout参数控制,默认为10000ms,即10s),会暂时关闭半同步复制,转而使用异步复制,也就是会自动降为异步工作。

    当 master dump 线程发送完一个事务的所有事件之后,如果在 rpl_semi_sync_master_timeout 内,收到了从库的响应, 则主从又重新恢复为半同步复制。


    注:

    在一主多从的架构中,如果要开启半同步复制,并不要求所有的从都是半同步复制。

    MySQL 5.7极大的提升了半同步复制的性能。

    5.6 版本的半同步复制,dump thread 承担了两份不同且又十分频繁的任务:传送binlog 给 slave ,还需要等待 slave 反馈信息,而且这两个任务是串行的,dump thread 必须等待 slave 返回之后才会传送下一个 events 事务。dump thread 已然成为整个半同步提高性能的瓶颈。在高并发业务场景下,这样的机制会影响数据库整体的系统吞吐量(TPS)。

    5.7 版本的半同步复制中,独立出一个 ack collector thread ,专门用于接收 slave 的反馈信息。这样 master 上有两个线程独立工作,可以同时发送 binlog 到 slave ,和接收 slave 的反馈。
     

    五、MySQL主从复制延迟

    1、master服 务器高并发,形成大量事务 2、网络延迟 3、主从硬件设备导致 cpu主频、内存io、硬盘io . 4、是同步复制、而是异步复制 从库优化Mysql参数。比如增大innodb_ buffer_ pool_ size, 让更多操作在Mysql内存中完成,减少磁盘操作。

    5、从库使用高性能主机。包括cpu强悍、内存加天。避免使用虚拟云主机,使用物理主机,这样提升了i/o方面性。

    6、从库使用SSD磁盘 网络优化,避免跨机房实现同步

    7、MySQL读写分离原理 读写分离就是只在主服务器上写,只在从服务器上读。基本的原理是让主数据库处理事务性操作,而从数据库处理select查询。数据库复制被用来把主数据库上事务性操作导致的变更同步到集群中的从数据库。

    8、目前较为常见的MySQL读写分离分为以下两种: 1)基于程序代码内部实现

    在代码中根据select、 insert 进行路由分类,这类方法也是目前生产环境应用最广泛的。 优点是性能较好,因为在程序代码中实现,不需要增加额外的设备为硬件开支;缺点是需要开发人员来实现,运维人员无从下手。

    但是并不是所有的应用都适合在程序代码中实现读写分离,像一些大型复杂的Java应用,如果在程序代码中实现读写分离对代码改动就较大。

    2)基于中间代理层实现 代理一般位于客户端和服务器之间,代理服务器接到客户端请求后通过判断后转发到后端数据库,有以下代表性程序。

    (1) MySQL- Proxy。 MySQL-Proxy 为MySQL开源项目,通过其自带的lua脚本进行SQL判断。

    (2) Atlas。是由奇虎360的Web平台部基础架构团队开发维护的一- 个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性。360内部使用Atlas运行的mysq1业务,每天承载的读写请求数达几十亿条。支持事物以及存储过程。

    (3) Amoeba。 由陈思儒开发,作者曾就职于阿里巴巴。该程序由Java语言进行开发,阿里巴巴将其用于生产环境。但是它不支持事务和存储过程

    mycat 也是一个中间件

    由于使用MySQL Proxy 需要写大量的Lua脚本,这些Lua并不是现成的, 而是需要自己去写。这对于并不熟悉MySQL Proxy内置变量和MySQLProtocol的人来说是非常困难的。 Amoeba是-一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层。

    Master 服务器: 192.168.80.10         mysq15.7
    Slave1 服务器: 192.168.80.11          mysq15.7
    Slave2 服务器: 192.168.80.12          mysq15.7
    Amoeba服务器: 192.168.80.20          jdk1.6、Amoeba
    客户端服务器: 192.168.80.30           mysql

    六、搭建 MySQL 读写分离

    Amoeba服务器:192.168.130.150

    安装 Java 环境

    因为 Amoeba 基于是 jdk1.5 开发的,所以官方推荐使用 jdk1.5 或 1.6 版本,高版本不建议使用。
    将jdk-6u14-linux-x64.bin 和 amoeba-mysql-binary-2.2.0.tar.gz.0 上传到/opt目录下。

    cd /opt/
    cp jdk-6u14-linux-x64.bin /usr/local/
    
    cd /usr/local/
    chmod +x jdk-6u14-linux-x64.bin
    ./jdk-6u14-linux-x64.bin
    按空格到最后一行
    按yes,按enter
    
    mv jdk1.6.0_14/ /usr/local/jdk1.6
    
    vim /etc/profile
    export JAVA_HOME=/usr/local/jdk1.6
    export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
    export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
    export AMOEBA_HOME=/usr/local/amoeba
    export PATH=$PATH:$AMOEBA_HOME/bin
    
    source /etc/profile
    java -version
    

     

     

     安装 Amoeba软件

    mkdir /usr/local/amoeba
    tar zxvf /opt/amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
    chmod -R 755 /usr/local/amoeba/
    /usr/local/amoeba/bin/amoeba
    //如显示amoeba start|stop 说明安装成功

     

    在主从服务器的mysql上授权

    Master服务器:192.168.130.120
    Slave1服务器:192.168.130.30
    Slave2服务器:192.168.130.20

    先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问

    grant all on *.* to 'test'@'192.168.80.%' identified by 'abc123';

     

     

    配置 Amoeba读写分离,两个 Slave 读负载均衡

    Amoeba服务器:192.168.130.150

    修改amoeba配置文件

    cd /usr/local/amoeba/conf/
    
    cp amoeba.xml amoeba.xml.bak
    vim amoeba.xml           #修改amoeba配置文件
    #---------30修改------------------------------
    <property name="user">amoeba</property>
    #---------32修改------------------------------
    <property name="password">123456</property>
    #---------115修改-----------------------------
    <property name="defaultPool">master</property>
    #---------117去掉注释–------------------------
    <property name="writePool">master</property>
    <property name="readPool">slaves</property>
    

     

    修改数据库配置文件

    cp dbServers.xml dbServers.xml.bak
    
    vim dbServers.xml
    #---------23注释掉--------------------------------------
    作用:默认进入test库 以防mysql中没有test库时,会报错
    <!-- mysql schema
    <property name="schema">test</property>
    -->
    #---------26修改-----------------------------------------
    <!-- mysql user -->
    <property name="user">test</property>
    #---------28-30去掉注释----------------------------------
    <property name="password">abc123</property>
    #---------45修改,设置主服务器的名Master------------------
    <dbServer name="master"  parent="abstractServer">
    #---------48修改,设置主服务器的地址----------------------
    <property name="ipAddress">192.168.163.11</property>
    #---------52修改,设置从服务器的名slave1-----------------
    <dbServer name="slave1"  parent="abstractServer">
    #---------55修改,设置从服务器1的地址---------------------
    <property name="ipAddress">192.168.163.12</property>
    #---------58复制上面6行粘贴,设置从服务器2的名slave2和地址---
    <dbServer name="slave2"  parent="abstractServer">
    <property name="ipAddress">192.168.163.13</property>
    #---------修改后的65或66修改-------------------------------------
    <dbServer name="slaves" virtual="true">
    #---------71修改----------------------------------------
    <property name="poolNames">slave1,slave2</property>
    
    /usr/local/amoeba/bin/amoeba start&	 #启动Amoeba软件,按ctrl+c 返回
    netstat -anpt | grep java		   	 #查看8066端口是否开启,默认端口为TCP 8066
    

     

     

     

     

     

     后面加&表示后台运行

     查看默认TCP端口8066已开启

     测试读写分离

    使用yum快速安装MySQL虚拟客户端

    yum install -y mysql mysql-server
    
    mysql -u amoeba -p123456 -h 192.168.80.21 -P8066

     

     通过amoeba服务器代理访问mysql ,在通过客户端连接mysql后写入的数据只有主服务会记录,然后同步给从服务器

    主服务器上

    use test;
    create table test (id int(10),name varchar(10),address varchar(20));

     两台从服务器上

    stop slave;			#关闭同步
    use test;

    在slave1上

    insert into test values('1','slave1','this_is_slave1');

     在slave2上

    insert into test values('2','slave2','this_is_slave2');

     在主服务器上

    insert into test values('3','master','this_is_master');

     

    在客户端服务器上

    use test;
    select * from test;		//客户端会分别向slave1和slave2读取数据,显示的只有在两个从服务器上添加的数据,没有在主服务器上添加的数据
    
    insert into test values('4','client','this_is_client');		//只有主服务器上有此数据

     

     

     

    再在两个从服务器上执行 start slave; 即可实现同步在主服务器上添加的数据

    start slave;

     

     

    展开全文
  • MySQL主从复制原理

    千次阅读 2022-03-14 14:48:24
    MySQL主从复制原理及常见问题解决

    什么是主从复制、读写分离以及为什么要使用

    • 主从复制:是一种数据备份的方案

      简单来说,是使用两个或两个以上相同的数据库,将一个数据库当做主数据库,而另一个数据库当做从数据库。在主数据库中进行相应操作时,从数据库记录下所有主数据库的操作,使其二者一模一样。
      
    • 读写分离:是一种让数据库更稳定的使用数据库的方法

      是在有从数据库的情况下使用,当主数据库进行对数据的增删改也就是写操作时,将查询的任务交给从数据库。
      
    • 为什么要使用主从复制和读写分离操作呢?

      主从复制:
      	1.当主数据库出现问题时,可以当从数据库代替主数据库,可以避免数据的丢失。
      	2.可以进行读写分离
      
      读写分离:
      	1.避免从数据库进行写操作而导致的主从数据库数据不一致的情况,因为当主从数据库数据不一致时,那么从数据库最主要的备份任务就没有意义了。
      	2.减轻主数据库的压力。因为进行写操作更耗时,所以如果不进行读写分离的话,写操作将会影响到读操作的效率。
      

    MySQL主从复制原理

    • 1.主从复制原理图

      在这里插入图片描述

    • 2.主从复制工作(过程)原理

      1.从库执行change master to 命令(主库的连接信息+复制的起点)
      2.从库会将以上信息,记录到master.info文件
      3.从库执行 start slave 命令,立即开启IO_T和SQL_T
      4. 从库 IO_T,读取master.info文件中的信息,获取到IP,PORT,User,Pass,binlog的位置信息
      5. 从库IO_T请求连接主库,主库专门提供一个DUMP_T,负责和IO_T交互
      6. IO_T根据binlog的位置信息(mysql-bin.000002 , 448),请求主库新的binlog
      7. 主库通过DUMP_T将最新的binlog,通过网络传输给从库的IO_T
      8. IO_T接收到新的binlog日志,存储到TCP/IP缓存,立即返回ACK给主库,并更新master.info
      9. IO_T将TCP/IP缓存中数据转储到磁盘relaylog中.
      10. SQL_T读取relay.info中的信息,获取到上次已经应用过的relaylog的位置信息
      11. SQL_T会按照上次的位置点回放最新的relaylog,再次更新relay.info信息
      12. 从库会自动清理应用过的relay文件
      
      补充说明:
      一旦主从复制构建成功,主库当中发生了新的变化,都会通过dump_T发送信号给IO_T,增强了主从复制的实时性.
      

    MySQL主从复制搭建步骤

    • 部署环境

      MASTER:192.168.1.11/24
      SLAVE1:192.168.1.13/24
      SLAVE2:192.168.1.14/24
      提前已经安装了MYSQLD
      
    • 搭建主从复制的前提

      (1) 2个或以上的数据库实例
      (2) 主库需要开启二进制日志功能
      (3) server_id要不同,区分不同的节点
      (4) 主库需要建立专用的复制用户 (replication slave)
      (5) 当从库为后建时,从库应该通过备份主库、恢复的方法进行"同步之前的数据"
      (6) 人为告诉从库一些复制信息(ip port user pass,二进制日志起点)
      (7) 从库应该开启专门的复制线程
      
    • 1.建立时间同步环境,在主节点上搭建时间同步服务器

      • 1.1 安装NTP(关闭防火墙/selinux)
        yum install -y ntp
        
      • 1.2 配置NTP
        vim /etc/ntp.conf
        server 127.127.1.0 #本地时间供给源
        fudge 127.127.1.0 stratum 8 #设置时区为+08区
        
      • 1.3 重启服务并设置为开机启动
        systemctl restart ntpd
        systemctl enable ntpd
        
    • 2.在从节点上进行时间同步(关闭防火墙/selinux)

      yum install -y ntpdate
      ntpdate 192.168.1.11
      
    • 3.主服务器配置:

      • 3.1 修改主服务器配置文件
        vim /etc/my.cnf
        server_id = 11 (增加)           //用于识别主从
        log_bin = master-bin(增加)         //开启二进制日志
        log_slave_updates = true(增加)    //允许从服务器拉取数据
        
      • 3.2 重启服务器
        systemctl restart mysqld
        
      • 3.3 登录mysql程序,给服务器授权
        mysql -u root
        mysql> GRANT REPLICATION SLAVE ON *.* TO 'myslave'@'192.168.1.%' IDENTIFIED BY '123456';    //授予只能在192.168.1网段进行远程登录数据库的用户myslave复制权限(8.0以前,可以自动创建用户并授权【创建用户myslave,密码是123456】)
        mysql> FLUSH PRIVILEGES;
        mysql> show master status;    //查看当前数据库实例最新的二进制文件名称及节点编号
        

        在这里插入图片描述

        生成的二进制文件位置(/var/lib/mysql):

        在这里插入图片描述

        若遇到密码不符合,可进行修改

        在这里插入图片描述

    • 4.从服务器配置:

      • 4.1 修改从服务器主配置文件
        vim /etc/my.cnf
        server_id = 22 (修改)
        relay_log = relay-log-bin(增加)        //开启中继日志
        relay_log_index = slave-relay-bin.index(增加)   //添加索引,加快速度
        
      • 4.2 重启mysqld
        systemctl restart mysqld
        
      • 4.3 在从服务器上配置同步
        mysql -u root -p
        mysql> change master to master_host='192.168.1.11',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=602;
        启动同步:
        mysql> start slave;     //启动同步
        mysql> stop slave;      //关闭同步
        查看slave状态,确保以下两个值为yes
        mysql> show slave status\G;      //\G:竖着显示,默认是横向显示
        
        注意:
        怎么证明主从复制成功了?
        	IO线程、SQL线程都为yes的时候就表示主从复制成功了
        MariaDB [(none)]> show slave status\G;
        
        	 Slave_IO_Running: Yes
             Slave_SQL_Running: Yes
        

        在这里插入图片描述

        在这里插入图片描述

    • 5.验证

      • 在MASTER上创建测试数据库,搭建完成后,可以在主库show slave hosts查看有哪些从库节点
        mysql> show slave hosts;
        mysql> create database db_test;
        

        在这里插入图片描述

    遇到过的错误

    • 错误1

      • 在这里插入图片描述

      • 解决方法:
        MariaDB [(none)]> stop slave;
        Query OK, 0 rows affected, 1 warning (0.00 sec)
        
        MariaDB [(none)]> reset slave;
        Query OK, 0 rows affected (0.00 sec)
        
        MariaDB [(none)]> change master to master_host='192.168.1.11',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=1050;
        Query OK, 0 rows affected (0.00 sec)          //主数据库节点编号已修改为1050
        
        MariaDB [(none)]> start slave;
        Query OK, 0 rows affected (0.00 sec)
        
        
    • 错误2(从数据库配置文件错误)

      • 在这里插入图片描述

      • 在这里插入图片描述

      • 解决方法:
        • 在这里插入图片描述
    • 错误3(从数据库server_id未修改成功)

      • 在这里插入图片描述

      • 在这里插入图片描述

      • 解决方法:
        • 如同错误2
    • 错误4

      • 在这里插入图片描述

      • 解决方法:
        • 1.关闭slave(备库操作)

          MariaDB [(none)]> stop slave;
          Query OK, 0 rows affected (0.00 sec)
          
        • 2.查看master的binlog和pos值(在主库操作)

          mysql> show master status;
          +-------------------+----------+--------------+------------------+-------------------+
          | File              | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
          +-------------------+----------+--------------+------------------+-------------------+
          | master-bin.000001 |     2549 |              |                  |                   |
          +-------------------+----------+--------------+------------------+-------------------+
          1 row in set (0.00 sec)
          
          
        • 3.修改slave的pos和binlog值(备库)

          MariaDB [(none)]> change master to master_host='192.168.1.11',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=2549;
          Query OK, 0 rows affected (0.00 sec)
          
        • 4.启动slave(备库)

          MariaDB [(none)]> start slave;
          Query OK, 0 rows affected (0.00 sec)
          
        • 5.查看状态(备库)

          MariaDB [(none)]> show slave status\G;
          

    uery OK, 0 rows affected (0.00 sec)
    ```

    * 4.启动slave(备库)
    
      ```
      MariaDB [(none)]> start slave;
      Query OK, 0 rows affected (0.00 sec)
      ```
    
      
    
    * 5.查看状态(备库)
    
      ```
      MariaDB [(none)]> show slave status\G;
      ```
    
    展开全文

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 131,326
精华内容 52,530
关键字:

mysql主从复制

mysql 订阅