Mysql中的Redo log日志和binlog日志的详情工作-程序员宅基地

技术标签: mysql  数据库  

主要是讲解Redo log 和 binlog实现更新日志的时候

MySql在更新操作时引入“两阶段提交”的必要性

1我们都知道Mysql中是有很多日志的,今天要说的是Redo log(重做日志)和 binlog(二进制日志)

  1. Redo log (重做日志):
  • Redo log 是用于恢复和崩溃恢复的关键组件,它记录了数据库引擎对于已经提交的操作所执行的物理更改。
  • 当数据库发生故障或崩溃时,通过重做日志可以将已提交的更改重新应用到数据库中,从而恢复数据库的一致性。
  • Redo log 是一个循环写入的日志文件,它记录了数据页的物理修改操作,而不是逻辑操作。
  1. Binlog (二进制日志):
  • Binlog 是用于复制和恢复的日志,它记录了数据库的逻辑操作。
  • Binlog 记录了对数据库执行的所有更改操作,如插入、更新和删除操作,以及相关的元数据信息。
  • Binlog 可以用于实现数据库的主从复制,其中主数据库将其产生的 Binlog 日志发送给从数据库,从数据库根据这些日志进行数据的复制和同步。
  • Binlog 也可以用于数据恢复和回滚操作。通过读取 Binlog 中的操作记录,可以还原数据库到特定的时间点或指定的操作。

这两个日志一同使用可以实现很多必要的功能

故障恢复:

当数据库发生故障或崩溃时,Redo log 能够起到关键的作用。通过 Redo log 中记录的已提交事务的物理更改,数据库可以在恢复过程中重新应用这些更改,从而将数据库还原到崩溃前的一致性状态。

数据复制(主从复制):

Binlog 在主从复制中扮演重要角色。主数据库生成 Binlog 日志,从数据库通过读取主数据库的 Binlog 日志来复制主数据库的数据和操作。这种复制机制允许从数据库保持与主数据库同步,并可以用于负载均衡、备份和高可用性。

数据恢复:

Redo log 和 Binlog 都可以用于数据恢复。通过 Redo log 和 Binlog 中记录的操作,可以还原数据库到特定的时间点或指定的操作。这对于误操作、数据损坏或恢复到历史状态等情况下的数据恢复非常有用。

数据备份:

Binlog 可以用于增量备份,通过定期备份 Binlog 日志,可以将这些日志应用到之前的完整备份上,以恢复到备份后的任何时间点。

大致理解一下SQL执行一条更新语句的流程

  1. 执行器先找引擎取 ID=2 这一行。ID 是主键,引擎直接用树搜索找到这一行。如果 ID=2 这一行所在的数据页本来就在内存中,就直接返回给执行器;否则,需要先从磁盘读入内存,然后再返回。
  2. 执行器拿到引擎给的行数据,把这个值加上 1,比如原来是 N,现在就是 N+1,得到新的一行数据,再调用引擎接口写入这行新数据。
  3. 引擎将这行新数据更新到内存中,同时将这个更新操作记录到 redo log 里面,此时 redo log 处于 prepare 状态。然后告知执行器执行完成了,随时可以提交事务。
  4. 执行器生成这个操作的 binlog,并把 binlog 写入磁盘。
  5. 执行器调用引擎的提交事务接口,引擎把刚刚写入的 redo log 改成提交(commit)状态,更新完成。

关于最后三步就是我们所说的两阶段提交,把redolog差写成了两个步骤:prepare和commit

一条SQL语句更新的时候肯定是要同时更新日志的,所以这两个日志也会伴随着更新。他们是运行在事务中的,那么为什么Redo log 在使用的时候要分成两个状态:prapare和commit状态,这两个状态也就是两阶段提交的意思,然后在两个状态中去写binlog日志。今天分析一下,为什么Mysql要这样做(把redo log分成两步,然后把binlog日志放到prepare和commit之间),而不是在一个是个事务中,依次去更新那两个日志。

redo log 和 binlog 的分别

redo log 是引擎层的日志(负责存储相关的事),binlog是在Server层,主要做MySQL服务那个层面的事情。redo log就像一个缓冲区,可以让当更新操作的时候先放redo log中,等系统不忙的时候或redo log 满了的时候再写到磁盘中,redo log的大小是固定的。·这样也可以保证,即使中途数据库重启,也可以依照redo log把未完成写入磁盘的内容完成更新。这个能力叫做crash-safe

redo log 是InnoDB引擎特有的,而Binlog是MySQL的Server层实现的,所有引擎都可以使用。

binlog会用“追加写”的形式记录所有的逻辑操作,所以binlog文件写到一定大小会切换到下一个,并不会覆盖以前的日志。

两阶段提交是为了让两份日志之间的逻辑一致。

如果不是两阶段提交,无论是先写完 redo log 再写 binlog,或者采用反过来的顺序。在两个中间MySQL进程异常重启,都会发生字段的值与原库的值不同。

不只是误操作后会恢复数据,当需要扩容的时候:多搭建备库来增加系统的读能力的时候,都需要全量备份加上应用binlog实现,如果出现数据库状态“不一致”就会导致线上出现主从数据库不一致的情况。

如果在两阶段中间发生了crash怎么情况?

如果时刻A的话,binlog都没写,redo log 不完整,所以直接事务回滚

如果时刻B的话,先判断binlog是否完整:一个事务的 binlog 是有完整格式的:

  • statement 格式的 binlog,最后会有 COMMIT;
  • row 格式的 binlog,最后会有一个 XID event。

完整了那就补充redo log,然后恢复数据,如果binlog不完整,那就事务回滚。

它们有一个共同的数据字段,叫 XID。崩溃恢复的时候,会按顺序扫描 redo log:

  • 如果碰到既有 prepare、又有 commit 的 redo log,就直接提交;
  • 如果碰到只有 parepare、而没有 commit 的 redo log,就拿着 XID 去 binlog 找对应的事务。

我们可以查看binlog是否完整,却还是把redo log分为两阶段是因为redo log是在事务中的内容,如果不分两个阶段的话,完成redo log 事务就不能再回滚了,这个时候binlog还没写完就重启数据库,binlog中没有这个事务的记录,InnoDB又回滚不了,两个日志不能够同时更新,数据和binlog日志就又不一致了。

redo log存储的是数据页的更新细节,binlog是更新内容。(比如redo log 是存储的将员工ID为101的工资字段的值从5000修改为6000。此时Binlog记录的是将员工ID为101的工资字段更新为6000。)binlog无法实现崩溃恢复,redo log 没法实现归档,因为它是循环写。而且mysql系统还有很多其他地方都依赖于binlog。

两个日志有相似的功能,也有相异的,所以两个日志都要存在,所以要想同时发挥作用,两阶段提交必不可少。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/m0_70208894/article/details/137976645

智能推荐

2022黑龙江最新建筑八大员(材料员)模拟考试试题及答案_料账的试题-程序员宅基地

文章浏览阅读529次。百分百题库提供建筑八大员(材料员)考试试题、建筑八大员(材料员)考试预测题、建筑八大员(材料员)考试真题、建筑八大员(材料员)证考试题库等,提供在线做题刷题,在线模拟考试,助你考试轻松过关。310项目经理部应编制机械设备使用计划并报()审批。A监理单位B企业C建设单位D租赁单位答案:B311对技术开发、新技术和新工艺应用等情况进行的分析和评价属于()。A人力资源管理考核B材料管理考核C机械设备管理考核D技术管理考核答案:D312建筑垃圾和渣土._料账的试题

chatgpt赋能python:Python自动打开浏览器的技巧-程序员宅基地

文章浏览阅读614次。本文由chatgpt生成,文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型,只是展现它原本的实力。对于颠覆工作方式的ChatGPT,应该选择拥抱而不是抗拒,未来属于“会用”AI的人。AI职场汇报智能办公文案写作效率提升教程 专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。_python自动打开浏览器

Linux中安装JDK-RPM_linux 安装jdk rpm-程序员宅基地

文章浏览阅读545次。Linux中安装JDK-RPM方式_linux 安装jdk rpm

net高校志愿者管理系统-73371,计算机毕业设计(上万套实战教程,赠送源码)-程序员宅基地

文章浏览阅读25次。免费领取项目源码,请关注赞收藏并私信博主,谢谢-高校志愿者管理系统主要功能模块包括页、个人资料(个人信息。修改密码)、公共管理(轮播图、系统公告)、用户管理(管理员、志愿用户)、信息管理(志愿资讯、资讯分类)、活动分类、志愿活动、报名信息、活动心得、留言反馈,采取面对对象的开发模式进行软件的开发和硬体的架设,能很好的满足实际使用的需求,完善了对应的软体架设以及程序编码的工作,采取SQL Server 作为后台数据的主要存储单元,采用Asp.Net技术进行业务系统的编码及其开发,实现了本系统的全部功能。

小米宣布用鸿蒙了吗,小米OV对于是否采用鸿蒙保持沉默,原因是中国制造需要它们...-程序员宅基地

文章浏览阅读122次。原标题:小米OV对于是否采用鸿蒙保持沉默,原因是中国制造需要它们目前华为已开始对鸿蒙系统大规模宣传,不过中国手机四强中的另外三家小米、OPPO、vivo对于是否采用鸿蒙系统保持沉默,甚至OPPO还因此而闹出了一些风波,对此柏铭科技认为这是因为中国制造当下需要小米OV几家继续将手机出口至海外市场。 2020年中国制造支持中国经济渡过了艰难的一年,这一年中国进出口贸易额保持稳步增长的势头,成为全球唯一..._小米宣布用鸿蒙系统

Kafka Eagle_kafka eagle git-程序员宅基地

文章浏览阅读1.3k次。1.Kafka Eagle实现kafka消息监控的代码细节是什么?2.Kafka owner的组成规则是什么?3.怎样使用SQL进行kafka数据预览?4.Kafka Eagle是否支持多集群监控?1.概述在《Kafka 消息监控 - Kafka Eagle》一文中,简单的介绍了 Kafka Eagle这款监控工具的作用,截图预览,以及使用详情。今天_kafka eagle git

随便推点

Eva.js是什么(互动小游戏开发)-程序员宅基地

文章浏览阅读1.1k次,点赞29次,收藏19次。Eva.js 是一个专注于开发互动游戏项目的前端游戏引擎。:Eva.js 提供开箱即用的游戏组件供开发人员立即使用。是的,它简单而优雅!:Eva.js 由高效的运行时和渲染管道 (Pixi.JS) 提供支持,这使得释放设备的全部潜力成为可能。:得益于 ECS(实体-组件-系统)架构,你可以通过高度可定制的 API 扩展您的需求。唯一的限制是你的想象力!_eva.js

OC学习笔记-Objective-C概述和特点_objective-c特点及应用领域-程序员宅基地

文章浏览阅读1k次。Objective-C概述Objective-C是一种面向对象的计算机语言,1980年代初布莱德.考斯特在其公司Stepstone发明Objective-C,该语言是基于SmallTalk-80。1988年NeXT公司发布了OC,他的开发环境和类库叫NEXTSTEP, 1994年NExt与Sun公司发布了标准的NEXTSTEP系统,取名openStep。1996_objective-c特点及应用领域

STM32学习笔记6:TIM基本介绍_stm32 tim寄存器详解-程序员宅基地

文章浏览阅读955次,点赞20次,收藏16次。TIM(Timer)定时器定时器可以对输入的时钟进行计数,并在计数值达到设定值时触发中断16位计数器、预分频器、自动重装寄存器的时基单元,在 72MHz 计数时钟下可以实现最大 59.65s 的定时,59.65s65536×65536×172MHz59.65s65536×65536×721​MHz不仅具备基本的定时中断功能,而且还包含内外时钟源选择、输入捕获、输出比较、编码器接口、主从触发模式等多种功能。_stm32 tim寄存器详解

前端基础语言HTML、CSS 和 JavaScript 学习指南_艾编程学习资料-程序员宅基地

文章浏览阅读1.5k次。对于任何有兴趣学习前端 Web 开发的人来说,了解 HTML、CSS 和JavaScript 之间的区别至关重要。这三种前端语言都是您访问过的每个网站的用户界面构建块。而且,虽然每种语言都有不同的功能重点,但它们都可以共同创建令人兴奋的交互式网站,让用户保持参与。因此,您会发现学习所有三种语言都很重要。如果您有兴趣从事前端开发工作,可以通过多种方式学习这些语言——在艾编程就可以参与到学习当中来。在本文中,我们将回顾每种语言的特征、它们如何协同工作以及您可以在哪里学习它们。HTML vs C._艾编程学习资料

三维重构(10):PCL点云配准_局部点云与全局点云配准-程序员宅基地

文章浏览阅读2.8k次。点云配准主要针对点云的:不完整、旋转错位、平移错位。因此要得到完整点云就需要对局部点云进行配准。为了得到被测物体的完整数据模型,需要确定一个合适的坐标系变换,将从各个视角得到的点集合并到一个统一的坐标系下形成一个完整的数据点云,然后就可以方便地进行可视化,这就是点云数据的配准。点云配准技术通过计算机技术和统计学规律,通过计算机计算两个点云之间的错位,也就是把在不同的坐标系下的得到的点云进行坐标变..._局部点云与全局点云配准

python零基础学习书-Python零基础到进阶必读的书藉:Python学习手册pdf免费下载-程序员宅基地

文章浏览阅读273次。提取码:0oorGoogle和YouTube由于Python的高可适应性、易于维护以及适合于快速开发而采用它。如果你想要编写高质量、高效的并且易于与其他语言和工具集成的代码,《Python学习手册:第4 版》将帮助你使用Python快速实现这一点,不管你是编程新手还是Python初学者。本书是易于掌握和自学的教程,根据作者Python专家Mark Lutz的著名培训课程编写而成。《Python学习..._零基础学pythonpdf电子书