精华内容
下载资源
问答
  • mysql数据库主从同步
    2022-06-27 17:31:14

    MySQL数据库主从同步,一致性解决方案





    方法1 半同步复制

    介于异步复制和同步复制之间,主库在执行完客户端提交的事务后不会立即返回给客户端,
    而是至少要等到一个从库接收并写到redo log中,才会返回给客户端,相对于异步复制,半同步复制提高了数据的安全性

    • 半同步复制原理
      事务在主库写完binlog后,需要从库返回一个已接收,才能返回给客户端
      确保事务提交后binlog至少传输到一个从库
      不保证从库应用完这个事务的binlog
      优点:利用数据库原生功能,比较简单
      缺点:主库的写请求时延会增长,吞吐量会降低

    方法2 数据库中间件

    • 所有的读写请求都走数据库中间件,通常情况下写请求走主库,读请求走从库
      记录所有路由到写库的key, 如果在主从同步的窗口内(假设500ms),有读请求过来了,
      此时从库有可能还是旧的数据,就需要将key上的读请求路由到主库访问
      在主从同步时间过完后,对应key的读请求继续路由到从库
      优点:能保证绝对一致,
      缺点:数据库中间件的成本较高

    方法3 缓存记录写key法

    • 写请求
      如果key要发生写操作,记录到cache里,设置主从同步的缓存超时时间,比如500ms
      然后修改主数据库
      读请求
      先到缓存里查,对应key有没有相关数据
      如果有,说明缓存命中,这个key刚刚发生过写操作,此时需要将请求路由主库读取最新的数据
      如果没有,说明缓存没有命中,说明这个key近期没有发生过写操作,此时将请求路由到从库,继续读写分离
      优点:相对数据库中间件,成本较低
      缺点:为了保证一致性,引入了cache组件,并且读写数据库时都多了缓存操作






    如有错误欢迎指正

    更多相关内容
  • mysql数据库主从同步

    2022-03-02 10:57:40
    mysql数据库主从同步配置文档
  • 本文实例讲述了MySQL数据库主从同步实战过程。分享给大家供大家参考,具体如下: 接上一篇:MySQL数据库入门之备份数据库 安装环境说明 系统环境: [root@~]# cat /etc/redhat-release CentOS release 6.5 (Final) ...
  • MySQL数据库主从同步

    2021-10-15 13:40:19
    MySQL数据库主从同步 准备两台服务器或者虚机,这里两台服务器的IP用127.0.0.1(主)和127.0.0.2(从)代替。 1、修改数据库配置(/etc/mysql/my.cnf) 配置好之后重启数据库。 127.0.0.1 [mysqld] log-bin=mysql-...

    MySQL数据库主从同步

    主从配置

    准备两台服务器或者虚机,这里两台服务器的IP用127.0.0.1(主)和127.0.0.2(从)代替。

    1、修改数据库配置(/etc/mysql/my.cnf)

    配置好之后重启数据库。

    127.0.0.1

    [mysqld]
    log-bin=mysql-bin
    server-id=1
    replicate-do-db=db_name
    log_slave_updates
    slave-skip-errors=all
    

    127.0.0.2

    [mysqld]
    log-bin=mysql-bin
    server-id=2
    replicate-do-db=db_name
    log_slave_updates
    slave-skip-errors=all
    

    参数注释:

    参数注释
    log-binlog-bin文件路径,开启二进制日志
    server-id设置server-id,必须唯一
    replicate-do-db设置同步的数据库
    log_slave_updates从库作为其他从库的主库时(主主同步)一定要添加,不作主库可不加
    slave-skip-errors跳过错误,视情况而定是否使用该参数

    备注: [mysqld] 这个头如果配置文件中没有,别忘记加,否则会报错。

    2、重启后,登录数据库进行账号授权

    具体分配的权限可自行选择

    mysql> CREATE USER 'sync'@'127.0.0.2' IDENTIFIED BY 'slavepassword';# 创建用户
    mysql> GRANT REPLICATION SLAVE ON *.* TO 'sync'@'127.0.0.2';# 分配权限
    mysql> flush privileges;   # 刷新权限
    

    3、127.0.0.1查看master状态,二进制文件名(mysql-bin.000001)和位置(1528)

    mysql > show master status;
    +------------------+----------+--------------+------------------+
    | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
    +------------------+----------+--------------+------------------+
    | mysql-bin.000001 | 1528     |              |                  |
    +------------------+----------+--------------+------------------+
    

    4、127.0.0.2执行同步SQL语句

    mysql > CHANGE MASTER TO MASTER_HOST='127.0.0.1',MASTER_USER='sync',MASTER_PASSWORD='slavepassword',MASTER_LOG_FILE='mysql-bin.000001',MASTER_LOG_POS=1528;
    

    参数注释:

    参数注释
    MASTER_HOST主库IP
    MASTER_USER账号
    MASTER_PASSWORD密码
    MASTER_LOG_FILE主库二进制文件名
    MASTER_LOG_POS位置

    5、启动slave同步进程并查看slave状态

    mysql> start slave;
    
    mysql> show slave status\G;
    
    Slave_IO_State: Waiting for master to send event
    Master_Host: 127.0.0.1
    Master_User: sync
    Master_Port: 3306
    Connect_Retry: 60
    Master_Log_File: mysql-bin.00001
    Read_Master_Log_Pos: 1528
    Slave_IO_Running: Yes
    Slave_SQL_Running: Yes
    

    Slave_IO_Running和Slave_SQL_Running状态均为YES的时候就表示主从同步设置成功了。

    如果需要配置成主主同步,则将127.0.0.1服务器再关联到127.0.0.2即可

    mysql > CHANGE MASTER TO MASTER_HOST='127.0.0.2',MASTER_USER='sync',MASTER_PASSWORD='slavepassword',MASTER_LOG_FILE='mysql-bin.000001',MASTER_LOG_POS=1528;
    

    错误总结

    在配置过程中也会出现一些错误,在这里做下总结。

    1、io running 连接失败

    Slave_IO_Running: Connecting
    

    这个情况是连接不到主库,可以从以下几点进行排查。
    1、服务器安全组端口权限
    2、防火墙
    3、账号权限

    2、Slave_IO_Running和Slave_SQL_Running状态均为YES,但同步不成功。

    首先要保证主库的从库的数据相同,另外在修改my.cnf有一个参数,之前提到过的。slave-skip-errors使用该参数可以解决,该方法适用于主从库数据相差不大,或者要求数据可以不完全统一的情况,数据要求不严格的情况。

    3、主从库意外重启

    mysql意外重启后再次启动slave可能会出现无法启动等情况。

    mysql> reset slave;
    

    reset之后即可重新CHANGE MASTER,关联同步。

    以上仅为个人在配置过程中遇到的问题与解决方法,仅供参考。

    展开全文
  • MySQL的Replication(英文为复制)是一个多MySQL数据库做主从同步的方案,特点是异步复制,广泛用在各种对MySQL有更高性能、更高可靠性要求的场合。与之对应的是另一个同步技术是MySQL Cluster,但因为MySQL Cluster...

    MySQL的Replication(英文为复制)是一个多MySQL数据库做主从同步的方案,特点是异步复制,广泛用在各种对MySQL有更高性能、更高可靠性要求的场合。与之对应的是另一个同步技术是MySQL Cluster,但因为MySQL Cluster配置比较复杂,所以使用者较少。

    MySQL的 Replication是一个异步复制的过程(mysql5.1.7以上版本分为异步复制和半同步两种模式),它是从一个Mysql instance(instance英文为实例)(我们称之为Master)复制到另一个Mysql instance(我们称之slave)。在master与slave之间实现整个复制过程主要由三个线程来完成,其中两个线程(SQL线程和IO线程) 在slave端,另外一个线程(IO线程)在master端。

    要实现MySQL的 Replication,首先必须打开master端的binlog (mysql-bin.xxxxxx)日志功能,否则无法实现mysql的主从复制。因为mysql的整个主从复制过程实际上就是:slave端从 master端获取binlog日志,然后再在自己身上完全顺序的执行该日志中所记录的各种SQL操作。
    如何开启mysql的binlog日志呢?
    在my.inf主配置文件中直接添加三行

    log_bin=ON  
    log_bin_basename=/var/lib/mysql/mysql-bin  
    log_bin_index=/var/lib/mysql/mysql-bin.index  
    

    三个参数来指定,
    第一个参数是打开binlog日志
    第二个参数是binlog日志的基本文件名,后面会追加标识来表示每一个文件
    第三个参数指定的是binlog文件的索引文件,这个文件管理了所有的binlog文件的目录

    当然也有一种简单的配置,一个参数就可以搞定

    log-bin=/var/lib/mysql/mysql-bin  
    

    这一个参数的作用和上面三个的作用是相同的,mysql会根据这个配置自动设置log_bin为on状态,自动设置log_bin_index文件为你指定的文件名后跟.index

    这些配置完毕之后对于5.7以下版本应该是可以了,但是我们这个时候用的如果是5.7及以上版本的话,重启mysql服务会报错。这个时候我们必须还要指定一个参数

    server-id=123454  
    

    随机指定一个不能和其他集群中机器重名的字符串,如果只有一台机器,那就可以随便指定了

    有了上述的配置之后,我们就可以重新启动我们的mysql了

    service mysqld restart
    

    启动成功之后,我们可以登陆查看我们的配置是否起作用
    show variables like ‘%log_bin%’
    在这里插入图片描述

    下面我们可以找到这个目录来看一下
    在这里插入图片描述
    因为我这里已经操作过数据库了,所以能看到这里有多个mysql-bin的文件,还有一个mysql-bin.index的文件,我们可以打开这个文件来看一下
    在这里插入图片描述
    到这里,我们的binlog日志就打开了。

    在这里插入图片描述

    MySQL主从复制的基本交互过程
    1、slave端的IO线程连接上master端,并请求从指定binlog日志文件的指定pos节点位置(或者从最开始的日志)开始复制之后的日志内容。

    2、master端在接收到来自 slave端的IO线程请求后,通知负责复制进程的IO线程,根据slave端IO线程的请求信息,读取指定binlog日志指定pos节点位置之后的日 志信息,然后返回给slave端的IO线程。该返回信息中除了binlog日志所包含的信息之外,还包括本次返回的信息在master端的binlog文 件名以及在该binlog日志中的pos节点位置。

    3、slave端的IO线程在接收 到master端IO返回的信息后,将接收到的binlog日志内容依次写入到slave端的relaylog文件(mysql-relay- bin.xxxxxx)的最末端,并将读取到的master端的binlog文件名和pos节点位置记录到master-info(该文件存在slave 端)文件中,以便在下一次读取的时候能够清楚的告诉master“我需要从哪个binlog文件的哪个pos节点位置开始,请把此节点以后的日志内容发给 我”。

    4、slave端的SQL线程在检 测到relaylog文件中新增内容后,会马上解析该log文件中的内容。然后还原成在master端真实执行的那些SQL语句,并在自身按顺丰依次执行 这些SQL语句。这样,实际上就是在master端和slave端执行了同样的SQL语句,所以master端和slave端的数据是完全一样的。

    以上mysql主从复制交互过程比较拗口,理解起来也比较麻烦,我简化了该交互过程。如下:

    1. 主库db的更新事件(update、insert、delete)被写到binlog
    2. 主库创建一个binlog dump thread,把binlog的内容发送到从库
    3. 从库启动并发起连接,连接到主库
    4. 从库启动之后,创建一个I/O线程,读取主库传过来的binlog内容并写入到relay log
    5. 从库启动之后,创建一个SQL线程,从relay log里面读取内容,从Exec_Master_Log_Pos位置开始执行读取到的更新事件,将更新内容写入到slave的db

    从以上mysql的Replication原理可以看出:

    • 主从间的数据库不是实时同步,就算网络连接正常,也存在瞬间主从数据不一致的情况。

    • 如果主从的网络断开,则从库会在网络恢复正常后,批量进行同步。

    • 如果对从库进行修改数据,那么如果此时从库正在在执行主库的bin-log时,则会出现错误而停止同步,这个是很危险的操作。所以一般情况下,我们要非常小心的修改从库上的数据。

    • 一个衍生的配置是双主、互为主从配置,只要双方的修改不冲突,则可以工作良好。

    • 如果需要多主库的话,可以用环形配置,这样任意一个节点的修改都可以同步到所有节点

    更多MySQL相关文章
    MySQL MVCC实现原理
    深入理解 MySQL 索引底层原理
    MySQL数据库优化的八种方式
    MySQL数据库优化-运维角度浅谈

    展开全文
  • 数据库高可用解决方案实战配置,解决单独数据库宕机,导致数据丢失问题。 基于MySQL5.5.62进行实验操作。
  • MySQL数据库主从同步服务器部署说明文档
  • MySQL主从同步是目前使用比较广泛的数据库架构,技术比较成熟,配置也不复杂,特别是对于负载比较大的网站,主从同步能够有效缓解数据库读写的压力。 MySQL主从同步的机制: MySQL同步的流程大致如下:  1、主...
  • 为了进一步的降低数据库端的压力(高并发的瓶颈),这个时候也会在业务层部署分布式缓存集群(redis、memcached)等,把读的压力转移给应用服务器端(与数据主从的设计是遵循同一个原则,降低后端数据库的压力) ...

    1.为什么数据库要设置主服务器和从服务器?

    • 数据库数据是一个公司或者集团企业最为重要的资产,我得备份。
    • 互联网的很多业务,特别是在高并发的场景下,基本都是读远远大于写,如果数据库读和写的压力都同在一台主机上,这显然不太合理
    • 为了进一步的降低数据库端的压力(高并发的瓶颈),这个时候也会在业务层部署分布式缓存集群(redis、memcached)等,把读的压力转移给应用服务器端(与数据主从的设计是遵循同一个原则,降低后端数据库的压力)

    问题:

    读写分离提高了资源的利用效率的同时也引出了一个问题,就是由于延时(网络传输,操作)而引起的数据库主从不一致的问题

    在这里插入图片描述
    异步复制

    • MySQL默认的复制是异步的,主库在执行完客户端提交的事务后会立即将结果返给给客户端,并不关心从库是否已经接收并处理,
      问题:
    • 主如果crash掉了,此时主上已经提交的事务可能并没有传到从库上。

    半同步复制

    • 介于异步复制和全同步复制之间,主库在执行完客户端提交的事务后不是立刻返回给客户端,而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制,半同步复制提高了数据的安全性。

      问题:

      • 同时它也造成了一定程度的延迟,这个延迟最少是一个TCP/IP往返的时间。所以,半同步复制最好在低延时的网络中使用
      • 主库的写请求时延会增长,吞吐量会降低

      半同步复制原理:

      • 事务在主库写完binlog后需要从库返回一个已接受,才放回给客户端
      • mysql5.5版本以后,以插件的形式存在,需要单独安装
      • 确保事务提交后binlog至少传输到一个从库
      • 不保证从库应用完成这个事务的binlog
      • 性能有一定的降低
      • 网络异常或从库宕机,卡主库,直到超时或从库恢复

    在这里插入图片描述
    同步过程:

    1.在备库B上通过change master命令,设置主库A的IP、端口、用户名、密码,以及要从哪个位置开始请求binlog,这个位置包含文件名和日志偏移量
    2.在备库B上执行start slave命令,这时备库会启动两个线程,就是图中的io_thread和sql_thread。其中io_thread负责与主库建立连接
    3.主库A校验完用户名、密码后,开始按照备库B传过来的位置,从本地读取binlog,发给B
    4.备库B拿到binlog后,写到本地文件,称为中转日志
    5.sql_thread读取中转日志,解析出日志里的命令,并执行
    日志:
    undo_log:回滚日志
    redo_log:重做日志
    binlog: 二进制日志
    relay_log:中继日志
    

    主备、主从延迟原因

    1、从库配置较主库偏低
    2、主库提供写操作,备库和从库提供读操作,读操作频繁,导致备库或从库压力大。
    3、执行事务较大,一般是执行比较大的DDl语句。
    解决方案:
    1、提升从库数量或从库配置
    2、sql语句的优化
    

    在这里插入图片描述

    • 主数据服务器:主要用来从业务服务写入数据或者修改更新数据

    • 从数据服务器:主要用来读取业务所需要的数据

    • 二进制日志:用来存储写入以及更新的数据信息

    • 中继日志:承接主服务器数据信息,转存在从服务器上

    • I/O线程:监听主服务器是否发生数据更改的行为

    • SQL线程:将主服务器数据更改的数据从中继日志文件中读取数据写入到从数据服务器中

        当主数据服务器master进行写入数据或者更新数据操作的时候,数据更改会记
        录在二进制日志(binary log file)中,主服务器master与从服务器slave进行通
        讯的是I/O线程,它将修改的数据异步复制写入到slave服务器的中继日志
        (relay log file)中,从服务器slave与中继日志之间通信使用SQL线程,SQL线
        程可以异步从中继日志中读取数据后再写入到自己的数据库中,就完成了数据
        的主从同步功能
      

    2、数据库中间件同步

    在这里插入图片描述

    同步过程:

    • 所有的读写都走数据库中间件,通常情况下,写请求路由到主库,读请求路由到从库

    • 记录所有路由到写库的key,在主从同步时间窗口内(假设是500ms),如果有读请求访问中间件,此时有可能从库还是旧数据,就把这个key上的读请求路由到主库。

    • 在主从同步时间过完后,对应key的读请求继续路由到从库。

    问题:

    • 中间件保证了数据绝对一致的同时,伴随着高额的成本

    3、缓存写KEY法

    在这里插入图片描述
    写流程:
    在这里插入图片描述

    1)如果key要发生写操作,记录在cache里,并设置“经验主从同步时间”的cache超时时间,例如500ms

    2)然后修改主数据库

    读流程

    1)先到缓存里查看,对应key有没有相关数据

    2)有相关数据,说明缓存命中,这个key刚发生过写操作,此时需要将请求路由到主库读最新的数据。

    3)如果缓存没有命中,说明这个key上近期没有发生过写操作,此时将请求路由到从库,继续读写分离。

    问题:

    • 虽然相对数据库中间件,成本较低,但是为了保证“一致性”,引入了一个cache组件,并且读写数据库时都多了缓存操作。
    展开全文
  •  2:建立主从关系,实现数据主从同步  实现步骤:  1:配置主数据库的主配置文件,重启服务  [root@zhu~]#vim/etc/my.cnf  [mysqld]  server_id=31  log_bin  [root@zhu~]#servicemysqlrestart  2...
  • MySQL主从同步是一个很成熟的架构,优点为:  ①在从服务器可以执行查询工作(即我们常说的读功能),降低主服务器压力;  ②在从主服务器进行备份,避免备份期间影响主服务器服务;  ③当主服务器出现问题时...
  • mysql 主从数据库服务器的设置 核心提示MySQL主从服务器Replication的设置1.首先在主服务器上为从服务器建立一个账户2.登录从服务器使用步骤一申请的用户名和密码访问主数据库如果可以访问代表建立用户成功 MySQL...
  • MYSQL 数据库主从同步(局域网)

    千次阅读 2022-03-28 12:36:40
    MYSQL 数据库主从复制,实时同步的再现1. 1 先下载虚拟机(硬件)与lunxi系统(centos7)1.2 在lunxi 系统安装rpm 版mysql 5.5.551.3 在Windows 系统中安装新的MYSQL5.551.4 主从复制的原理与实践1.5 总结 一. ...
  • Mysql数据库主从同步小版本升级方案 如果下文中有任何问题敬请更新指证。 1.升级方式说明 MySQL升级的两种方式: in-place upgrade: 适合小版本的升级。 即:关闭当前的MySQL,替换当前的二进制文件或包,在...
  • 主库上修改用户权限原因1:在主库上执行drop user 或者授权操作时,导致的从库上报错,停止恢复主库的binlog解决方法:重启从库同步,跳过出错语句在从库上执行,mysql> stop slave;mysql> set sql_slave_skip...
  • 1.MySQL数据库主从同步原理主服务器有一个工作线程 io dump thread从服务器有两个工作线程,一个是io thread,一个sql thread。复制如何工作主从同步简单可以分为三步(1) master将改变记录到二进制日志(binary log)...
  • MySQL数据库主从双向同步

    千次阅读 2022-04-13 15:40:08
    MySQL数据库主从双向同步一 环境二 主从同步1.主服务器配置2.从服务器配置二 双向同步三 后记 一 环境 由于开发需要,需要两台服务器进行负载均衡,两台服务器配置完全相同,均为windows server 2012,且MySQL数据库...
  • mysql数据库主从同步重建步骤记录

    万次阅读 2021-06-17 14:22:49
    数据库主从同步重建步骤 在主数据库主机上进行热备或直接使用已经全量备份的文件 innobackupex --defaults-file=/etc/my.cnf --socket=/var/lib/mysql/mysql.sock --user=backup --password=123123 --no-timestamp -...
  • 最近一个数据库同步问题纠结很久,事情是:主从数据库同步状态正常,无异常错误日志。但是其中一个表中的数据始终无法同步。(表中数据一直无变化)。由于主库在线业务不能停,首先小编想问题有可能出现在权限问题,...
  • windows下配置mysql数据库主从的详细过程,具体内容如下 所用到工具: Mysql、Navicat Premium; 主库设置: 一.设置my.ini 文件; 1.在安装目录下找到my.ini 文件: 默认路径:C:\Program Files\MySQL\MySQL ...
  • 两个服务器A、B,要求AB两个数据库有个结构相同的表t,当A数据库t表有新数据添加成功,B数据库t表立即也有相同的数据,此时,A为主,B为从
  • MySQL主从复制当中如果出现了延迟太高的情况,如何应对呢,有以下几个方案
  • MySQL数据库是现在常用的数据库,由于一些业务的需求,多个不同服务器上的数据库需要数据同步或者部分数据同步。如何同步?怎么同步才简单? 方案 目前有以下几种方案(参考): 通过逻辑代码层面去实现,定时去...
  • 一、 概念: ① 数据库同步 (主从同步 — 主数据库写的同时 往从服务器写数据)② 数据库同步 (主主同步 — 两台数据库服务器互相写数据) 二、 举例数据库服务器(A) 主数据库 IP:192.168.1.134数据库服务器...
  • Windows操作系统MySQL数据库主从同步配置和其中的几个注意事项

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 95,149
精华内容 38,059
关键字:

mysql数据库主从同步

mysql 订阅