MySQL如何保证主备一致?_mysql是怎么保证主备一致的-程序员宅基地

技术标签: MySQL实战45讲笔记  mysql  数据库  

1. MySQL主备的基本原理

如下图展示的是基本的主备切换流程:
在这里插入图片描述

在状态1中,主库是A,备库是B,所以客户端的读写都直接方法节点A。由于节点B是节点A的备库,所以备库B只是将A的更新都同步过来,本地执行,这样可以保证节点B和节点A的数据一致性。

如果发生主备切换,就会从状态1变成状态2,节点A成为备库,节点B成为主库。

在状态1中,虽然节点B没有被客户端直接方法,但是还是建议将节点B(备库)设置成只读(readonly)模式,主要有以下几个理由:

  1. 避免某些服务访问了备库,造成误操作;
  2. 防止切换逻辑有bug,比如切换过程中出现双写,造成主备不一致;
  3. 可以用readonly状态,来判断节点的角色;

注意:readonly对于超级管理员是无效的,而用于同步更新的线程,就拥有超级权限,所以是可以修改备库的。

接下来我们看下节点A到节点B的流程图:
在这里插入图片描述

实际上备库B和主库A之间维持了个长连接,主库A中有一个线程(dump_thread),专门用于服务和备库B的长连接。日志同步的完整过程如下:

  1. 在备库B上通过change master命令,设置主库A的相关信息,以及要从哪个位置开始请求binlog;
  2. 在备库B上执行start slave命令,备库会启动两个线程,即io_thread和sql_thread,其中io_thread负责与主库通信;
  3. 主库A校验完信息后,根据备库B转过来的位置,本地读取binlog,传递给B;
  4. 备库拿到binlog后,写到本地文件,称为中转日志(relay log);
  5. sql_thread读取中转日志,解析出命令并执行;

2. binlog的三种格式

binlog的格式实际上由两种格式,一种是statement,一种是row。此外还有一种mixed格式,实际上是前两种的混合。

为了方便解释几种日志格式的区别,我们创建一个表并写入些数据。

mysql> create table t(
    id int(11) not null,
    a int(11) default null,
    t_modified timestamp not null default current_timestamp,
    primary key (id),
    key a(a),
    key t_modified (t_modified)
)ENGINE=InnoDB;

insert into t values(1,1,'2018-11-13')
insert into t values(2,2,'2018-11-12')
insert into t values(3,3,'2018-11-11')
insert into t values(4,4,'2018-11-10')
insert into t values(5,5,'2018-11-09')

然后,我们对于这个表执行delete语句:

mysql>delete from t /*comment*/ where a>=4 and t_modified <='2018-11-10' limit 1;

我们可以使用下面的命令来查看binlog中的内容:

mysql> show binlog events in 'master.000001'

可以看到,当binlog_format=statement时,binlog里面记录的就是sql原文
在这里插入图片描述

为了比较statment和row的区别,我们看下这条delete语句的执行图:
在这里插入图片描述

从图上可以看到,运行过程中产生了一个warnings,原因是binlog设置的格式时statement,并且语句中有limit,所以时unsafe的。那为什么说是unsafe呢?

  • 如果delete语句使用的是索引a,那么会根据索引a找到第一个满足条件的行,也就是a=4这一行。
  • 如何delete语句使用的是索引t_modified,那么删除的就是a=5这一行。

所以使用statement可能会造成主备不一致的情况。如果在主库和备库中执行这条SQL语句,走的索引不一样,就会出现数据不一致性。

我们接下来再看binlog_format=row的情况,下面是binlog中的内容:
在这里插入图片描述

从图上可以看到,row格式的binlog没有写SQL语句的原文,而是替换成了两个event

  • Table_map event:说明要操作的表是test库的表t;
  • Delete_rows event:定义删除哪一行

上面实际上是没有完全显示信息的,可以借助mysqlbinlog工具查看详细信息:
在这里插入图片描述

所以,当binlog_format=row时,binlog记录了真实删除行的主键id,这样即使在备库中,也是删除这一行,不会出现主备不一致的情况。

3. 为什么会有mixd格式的binlog?

从上面的描述中,我们可以很清楚地看到statement和row格式的优缺点:

  • statement:格式节省空间,只需要记录sql语句。但是可能会出现主备不一致的情况;
  • row:不会出现主备不一致的情况。但是格式十分消耗空间,需要记录所有修改的行。

mixed格式的意思是,MySQL会自己判断这条SQL语句是否可能引起主备不一致,如果有可能,就用row格式,否则就用statement格式

所以线上的场景,设置为statement格式肯定是不合理的,至少要设置成mixed格式。

实际上,现在越来越多都是使用row格式,其中一个好处就是恢复数据

  • 当执行delete语句后,发现误删了,直接将binlog中的信息,转换成insert语句插入即可
  • 当执行insert语句后,发现错误插入了,直接将binlog中的信息,转换成delete语句插入即可
  • 如果执行的是update语句,binlog会记录修改前后的信息,方面恢复

4. 循环复制问题

刚才介绍的是M-S结构,现在用的比较多的是双M结构,如下图:
在这里插入图片描述

这个和M-S结构的区别在于,节点A和节点B之间互为主备关系。这种架构有个问题:当节点A更新了数据,写入binlog_A,然后传给节点B,节点B也会执行更新,写入binlog_B。然后由于节点B更新了,节点A又会去执行节点B的更新,就造成一个死循环的情况。

为了避免这种情况,MySQL在binlog中记录了这个命令第一次执行时所在实例的server id

  1. 规定两个库的server id必须不同,如果相同,不能互为主备;
  2. 一个备库接到binlog进行重放的时候,生成与原binlog的server id相同的新binlog;
  3. 每个库在收到从自己的主库发过来的日志后,先判断server id,如果和自己相同,说明时自己第一次生成的,就直接丢弃这个日志。

来源:自己整理的MySQL实战45讲笔记

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_41799019/article/details/128039578

智能推荐

Tensorflow构建卷积神经网络_with open(cifar10_folder + test_dataset[0], 'rb') -程序员宅基地

文章浏览阅读269次。【方向】 2017-08-24 16:31:56 浏览8502 评论2 ..._with open(cifar10_folder + test_dataset[0], 'rb') as f0:

UE4 C++和蓝图相互调用_虚幻4c++调用蓝图函数-程序员宅基地

文章浏览阅读1k次。Ue4蓝图和c++如何相互调用(宏)官方文档官方文档常用BlueprintCallable 此函数可在蓝图或关卡蓝图图表中执行。BlueprintImplementableEvent 此函数可在蓝图或关卡蓝图图表中实现。BlueprintNativeEvent 此函数旨在被蓝图覆盖掉,但是也具有默认原生实现。用于声明名称与主函数相同的附加函数,但是末尾添加了Implementation,是写入代码的位置。如果未找到任何蓝图覆盖,该自动生成的代码将调用 Implementation 方法。_虚幻4c++调用蓝图函数

Arduino智能小车设计(二)_csdn arduino 小车-程序员宅基地

文章浏览阅读3.4k次,点赞13次,收藏49次。由于学校这几天在开运动会,所以刚好有空闲的时间来好好琢磨这些原件以及认认真真完成这几篇博客。。。。所以,这几天就好好研究这些电子元件。那怎么具体研究呢,我想大概可以从这几个方面入手。1.元件的介绍2.作用3.连接方式4.所控代码因为我也算是萌新,所以这个过程大概会比较复杂,但是我会将我所不懂得点着重标记下来。如果你也是小萌新,也可以参考参考我所遇到的问题;如果你是大佬,也可以给些不错..._csdn arduino 小车

小白易懂的遗传算法(Python代码实现)_遗传算法python代码详解-程序员宅基地

文章浏览阅读7.8k次,点赞13次,收藏137次。讲解通俗、代码简单易懂,小白也能学会遗传算法_遗传算法python代码详解

所有idea中文乱码解决_idea中文乱码的解决方法-程序员宅基地

文章浏览阅读529次。所有idea中文乱码解决_idea中文乱码的解决方法

安全性测试的测试点_安全组规则测试点怎么写-程序员宅基地

文章浏览阅读1.3w次,点赞11次,收藏105次。安全性测试的测试点1.跨网站脚本攻击通过脚本语言的缺陷模拟合法用户,控制其账户,盗窃敏感数据2.注入攻击通过构造查询对数据库、LDAP和其他系统进行非法查询3.恶意文件执行在服务器上执行Shell 命令Execute,获取控制权4.伪造跨站点请求发起Blind 请求,模拟合法用户,要求转账等请求5.不安全对象引用不安全对象的引入,访问敏感文件和资源,WEB应_安全组规则测试点怎么写

随便推点

Ubuntu/Linux安装C语言编程环境(g++)_linux 安装c语言 ubuntu-程序员宅基地

文章浏览阅读2.8k次,点赞4次,收藏14次。一、环境准备下载安装vim 与gcc简单粗暴来两个命令安装vimsudo apt-get install vim安装gccsudo apt-get install gcc 检查gcc是否安装成功sudo gcc -v显示信息与以下类似则表明安装成功二、创建hello.c文件选择一个目录存放hello.c文件这里我选择的是qin文件夹输入命令sudo vim hello.c接着按照提示输入密码 回车出现下面页面,输入i进入编辑模式就可以快快乐乐的敲代码了编辑_linux 安装c语言 ubuntu

Java接入支付宝支付超级详细教程——从入门到精通_java接入支付宝自动扣费-程序员宅基地

文章浏览阅读3w次,点赞69次,收藏352次。​Java接入支付宝支付教程一、创建应用1.登录支付宝开放平台支付宝开放平台网址:https://open.alipay.com/platform/developerIndex.htm2.创建一个应用​图1​图2二 、设置应用密钥1.下载安装支付宝开放平台助手软件下载地址:https://gw.alipayobjects.com/os/bmw-prod/0e6297a2-89b9-4cab-972b-f9534ba07082.exe)如:图3​图32.使用支付宝开放平台助手生成密_java接入支付宝自动扣费

10-Day-Of-OpenCV-5_opencv-5 elements-程序员宅基地

文章浏览阅读2.5k次。Image Threshold | Day 5 进一步学习OpenCV,在这里将学习学到简单阈值,自适应阈值,Otsu’s 二值化,使用不同的低通滤波器对图像进行模糊等。_opencv-5 elements

ubuntu下trace32工具安装_trace32 ubuntu-程序员宅基地

文章浏览阅读3.7k次。mount /mnt/cdrom (if not automatically mounted)mkdir /opt/t32 (or similar)cp -r /mnt/cdrom/files/* /opt/t32/cp /opt/t32/demo/practice/t32.cmm /opt/t32/cp /opt/t32..._trace32 ubuntu

判断素数(Miller_Rabin算法)_miller rabin素数判定算法c语言-程序员宅基地

文章浏览阅读2.1k次。判断素数 时间限制:400ms 内存限制:64MB 代码长度限制:16kB 判题程序:系统默认 作者:陈越 单位:浙江大学 本题的目标很简单,就是判断一个给定的正整数是否素数。 输入格式: 输入在第一行给出一个正整数N(\le≤ 10),随后N行,每行给出一个小于2^{31}2​31​​的需要判断的正整数。 输出格式: 对每个需要判断的正整数,如..._miller rabin素数判定算法c语言

EXT基础_items: [{ id: 'xbankcheck', name: 'x_bank_check', -程序员宅基地

文章浏览阅读7k次,点赞3次,收藏19次。ETX系列:EXT基础 EXT表单 EXT表格 EXT事件 EXT窗口 EXT按钮事件 什么是EXT?–Ext是一个Ajax框架,可以用来开发带有华丽外观的富客户端应用,使得我们的b/s应用更加具有活力及生命力,提高用户体验。–Ext是一个用javascript编写,与后台技_items: [{ id: 'xbankcheck', name: 'x_bank_check', fieldlabel: '银行检测情况(