Mysql主从复制与读写分离_如何验证主从分离-程序员宅基地

技术标签: 运维  MySQL  服务器  mysql  数据库  

目录

一.主从复制与读写分离概述

1什么是读写分离

2.为什么要读写分离

3.什么时候要读写分离

4.主从复制与读写分离

5.mysql支持的复制类型

6.主从复制的工作过程

7.MySQL主从复制延迟

8.MySQL读写分离原理

9.常见的MySQL读写分离(两种)

(1)基于程序代码内部实现

(2)基于中间代理层实现

二.搭建MySQL主从复制

1.主从服务器时间同步 

 2.主服务器的Mysql配置

  3.从服务器的mysql配置

 4.验证主从分离

 三.搭建MySQL读写分离

1.Amoeba服务器配置

 2.测试读写分离


一.主从复制与读写分离概述

1什么是读写分离

读写分离,基本的原理是让主数据库处理事务性增、改、删操作( INSERT、UPDATE、DELETE) 而从数据库处理SELECT查询操作。

数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库

2.为什么要读写分离

因为数据库的“写”(写10000条数据可能要3分钟)操作是比较耗时的;
但是数据库的“读”(读10000条数据可能只要5秒钟);
所以读写分离,解决的是,数据库的写入,影响了查询的效率.

3.什么时候要读写分离

数据库不一定要读写分离,如果程序使用数据库较多时,而更新少,查询多的情况下会考虑使用。利用数据库主从同步,再通过读写分离可以分担数据库压力,提高性能

4.主从复制与读写分离

在实际的生产环境中,对数据库的读和写都在同一个数据库服务器中,是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此,通过主从复制的方式来同步数据,再通过读写分离来提升数据库的并发负载能力。有点类似于rsync,但是不同的是rsync是对磁盘文件做备份,而mysq1 主从复制是对数据库中的数据、语句做备份

5.mysql支持的复制类型

STATEMENT:基于语句的复制 在服务器上执行SQL语句,在从服务器上执行相同的语句,MySQL默认采用基于语句的复制,执行效率高
ROW:基于行的复制 把改变的内容复制过去,而不是把命令在从服务器上执行一遍
MIXED:混合类型的复制 默认采用基于语句的复制,一旦发现基于语句无法精确复制时,就会采用基于行的复制

6.主从复制的工作过程

 1.Master节点将数据的改变记录成二进制日志(bin log),当Master上的数据发生改变时,则将  其改变写入二进制日志中。

 2.Slave节点会在一定时间间隔内对Master的二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/O线程请求Master的二进制事件。

3.同时Master节点为每个I/O线程启动一个dump线程,用于向其发送二进制事件,并保存至Slave节点本地的中继日志(Relay log)中,Slave节点将启动SQL线程从中继日志中读取二进制日志,在本地重放,即解析成SQL语句逐一执行,使得其数据和Master节点的保持一致,最后I/O线程和SQL线程将进入睡眠状态,等待下一次被唤醒。

注意:

中继日志通常会位于 OS 缓存中,所以中继日志的开销很小。

复制过程中有一个很重要的限制,即复制在 Slave 上是串化的,也就是说 Master上的并行更新操作不能再Slave上并行操作。

7.MySQL主从复制延迟

(1)master服务器高并发,形成大量事务
(2)网络延迟
(3)主从硬件设备导致 cpu主频、内存io、硬盘io
(4)从库使用高性能主机。包括cpu强悍、内存加大。避免使用虚拟云主机,使用物理主机,这样提升了i/o方面性。
(5)从库使用SSD磁盘。
(6)网络优化,避免跨机房实现同步

8.MySQL读写分离原理

 读写分离就是只在主服务器上写,只在从服务器上读。基本的原理是让主数据库处理事务性查询,而从数据库处理select查询。数据库复制被用来把主数据库上事务性查询导致的变更同步到集群中的从数据库

9.常见的MySQL读写分离(两种)

(1)基于程序代码内部实现

在代码中根据select、 insert 进行路由分类,这类方法也是目前生产环境应用最广泛的。
优点是性能较好,因为在程序代码中实现,不需要增加额外的设备为硬件开支;缺点是需要开发人员来实现,运维人员无从下手

但是并不是所有的应用都适合在程序代码中实现读写分离,像一些大型复杂的Java应用,如果在程序代码中实现读写分离对代码改动就较大。

(2)基于中间代理层实现

代理一般位于客户端和服务器之间,代理服务器接到客户端请求后通过判断后转发到后端数据库

有以下代表性程序:

MySQL-Proxy MySQL-Proxy 为MySQL开源项目,通过其自带的lua脚本进行SQL判断
Atlas 是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性。360内部使用Atlas运行的mysq1业务,每天承载的读写请求数达几十亿条。支持事物以及存储过程
Amoeba 由陈思儒开发,作者曾就职于阿里巴巴。该程序由Java语言进行开发,阿里巴巴将其用于生产环境。但是它不支事务和存储过程

由于使用MySQL Proxy 需要写大量的Lua脚木,这些Lua并不是现成的,而是需要自己去写。这对于并不熟悉MySQL Proxy内置变量和MySQLProtocol的人来说是非常困难的

Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层.

二.搭建MySQL主从复制

环境准备:

主机 操作系统 IP地址 所需工具/软件/安装包
Master CentOS7 192.168.111.175 ntp 、 mysql-boost-5.7.20.tar.gz
Slave1 CentOS7 192.168.111.176 ntp 、ntpdate 、 mysql-boost-5.7.20.tar.gz
Slave2 CentOS7 192.168.111.177 ntp 、ntpdate 、mysql-boost-5.7.20.tar.gz

 所有服务器关闭防火墙:

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

1.主从服务器时间同步 

主服务器Master设置(192.168.111.175)

 

 

 从服务器设置(192.168.111.176、192.168.111.177)

 

 2.主服务器的Mysql配置

 

  3.从服务器的mysql配置

配置slave1

 

 配置Slave2

 

 4.验证主从分离

 

 三.搭建MySQL读写分离

实验准备:

主机 操作系统 IP地址 所需工具/软件/安装包
Master CentOS7 192.168.111.175 ntp 、 mysql-boost-5.7.20.tar.gz
Amoeba CentOS7 192.168.111.178 jdk-6u14-linux-x64.bin、amoeba-mysql-binary-2.2.0.tar.gz
Slave1 CentOS7 192.168.111.176 ntp 、ntpdate 、 mysql-boost-5.7.20.tar.gz
Slave2 CentOS7 192.168.111.177 ntp 、ntpdate 、mysql-boost-5.7.20.tar.gz
客户端 CentOS7 192.168.111.173 - - - - - - - - - - - - - - - -- - - - - - - - - 

1.Amoeba服务器配置

配置Amoeba服务器(192.168.111.178)

因为Amoeba基于是jdk1.5 开发的,所以官方推荐使用jdk1.5 或1.6版本,高版本不建议使用。

 

 

 

 

 安装amoeba

 

 在Master、Slave1、 Slave2 的mysq上开放权限给Amoeba 访问

 回到amoeba服务器

 修改amoeba的主配置文件:

修改数据库配置文件:

 

 

启动Amoeba软件,按ctrl+c 返回

 查看8066端口是否开启,默认端口为TCP 8066

 2.测试读写分离

Master、Slave1、Slave2为搭建MySQL主从复制时配置的主机(详见 二.搭建MySQL主从复制)

客户机如果没有安装MySQL数据库可以使用mariadb客户端(mairadb比MySQL更轻量级的版本)

mariadb的作用:
提供命令库
提供连接数据的驱动
提供tcp的端口3306

yum install -y mariadb-server mariadb
systemctl start mariadb.service

我的客户端安装了mysql,没有使用mariadb

 client端远程访问amoeba的地址,并进入数据库创建新的数据库,并创建一个表

 

 查看master端

 查看slave1

  查看slave2

 现在在两台从服务器关闭同步

 slave1向表中添加内容

 slave2向表中添加内容

 主服务器向表中添加内容

 在使用客户端查看表的数据

 此时,在客户端写入数据

 master能看到已写入

 slave1和slave2看不到

 

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_57837701/article/details/120090639

智能推荐

oracle 12c 集群安装后的检查_12c查看crs状态-程序员宅基地

文章浏览阅读1.6k次。安装配置gi、安装数据库软件、dbca建库见下:http://blog.csdn.net/kadwf123/article/details/784299611、检查集群节点及状态:[root@rac2 ~]# olsnodes -srac1 Activerac2 Activerac3 Activerac4 Active[root@rac2 ~]_12c查看crs状态

解决jupyter notebook无法找到虚拟环境的问题_jupyter没有pytorch环境-程序员宅基地

文章浏览阅读1.3w次,点赞45次,收藏99次。我个人用的是anaconda3的一个python集成环境,自带jupyter notebook,但在我打开jupyter notebook界面后,却找不到对应的虚拟环境,原来是jupyter notebook只是通用于下载anaconda时自带的环境,其他环境要想使用必须手动下载一些库:1.首先进入到自己创建的虚拟环境(pytorch是虚拟环境的名字)activate pytorch2.在该环境下下载这个库conda install ipykernelconda install nb__jupyter没有pytorch环境

国内安装scoop的保姆教程_scoop-cn-程序员宅基地

文章浏览阅读5.2k次,点赞19次,收藏28次。选择scoop纯属意外,也是无奈,因为电脑用户被锁了管理员权限,所有exe安装程序都无法安装,只可以用绿色软件,最后被我发现scoop,省去了到处下载XXX绿色版的烦恼,当然scoop里需要管理员权限的软件也跟我无缘了(譬如everything)。推荐添加dorado这个bucket镜像,里面很多中文软件,但是部分国外的软件下载地址在github,可能无法下载。以上两个是官方bucket的国内镜像,所有软件建议优先从这里下载。上面可以看到很多bucket以及软件数。如果官网登陆不了可以试一下以下方式。_scoop-cn

Element ui colorpicker在Vue中的使用_vue el-color-picker-程序员宅基地

文章浏览阅读4.5k次,点赞2次,收藏3次。首先要有一个color-picker组件 <el-color-picker v-model="headcolor"></el-color-picker>在data里面data() { return {headcolor: ’ #278add ’ //这里可以选择一个默认的颜色} }然后在你想要改变颜色的地方用v-bind绑定就好了,例如:这里的:sty..._vue el-color-picker

迅为iTOP-4412精英版之烧写内核移植后的镜像_exynos 4412 刷机-程序员宅基地

文章浏览阅读640次。基于芯片日益增长的问题,所以内核开发者们引入了新的方法,就是在内核中只保留函数,而数据则不包含,由用户(应用程序员)自己把数据按照规定的格式编写,并放在约定的地方,为了不占用过多的内存,还要求数据以根精简的方式编写。boot启动时,传参给内核,告诉内核设备树文件和kernel的位置,内核启动时根据地址去找到设备树文件,再利用专用的编译器去反编译dtb文件,将dtb还原成数据结构,以供驱动的函数去调用。firmware是三星的一个固件的设备信息,因为找不到固件,所以内核启动不成功。_exynos 4412 刷机

Linux系统配置jdk_linux配置jdk-程序员宅基地

文章浏览阅读2w次,点赞24次,收藏42次。Linux系统配置jdkLinux学习教程,Linux入门教程(超详细)_linux配置jdk

随便推点

matlab(4):特殊符号的输入_matlab微米怎么输入-程序员宅基地

文章浏览阅读3.3k次,点赞5次,收藏19次。xlabel('\delta');ylabel('AUC');具体符号的对照表参照下图:_matlab微米怎么输入

C语言程序设计-文件(打开与关闭、顺序、二进制读写)-程序员宅基地

文章浏览阅读119次。顺序读写指的是按照文件中数据的顺序进行读取或写入。对于文本文件,可以使用fgets、fputs、fscanf、fprintf等函数进行顺序读写。在C语言中,对文件的操作通常涉及文件的打开、读写以及关闭。文件的打开使用fopen函数,而关闭则使用fclose函数。在C语言中,可以使用fread和fwrite函数进行二进制读写。‍ Biaoge 于2024-03-09 23:51发布 阅读量:7 ️文章类型:【 C语言程序设计 】在C语言中,用于打开文件的函数是____,用于关闭文件的函数是____。

Touchdesigner自学笔记之三_touchdesigner怎么让一个模型跟着鼠标移动-程序员宅基地

文章浏览阅读3.4k次,点赞2次,收藏13次。跟随鼠标移动的粒子以grid(SOP)为partical(SOP)的资源模板,调整后连接【Geo组合+point spirit(MAT)】,在连接【feedback组合】适当调整。影响粒子动态的节点【metaball(SOP)+force(SOP)】添加mouse in(CHOP)鼠标位置到metaball的坐标,实现鼠标影响。..._touchdesigner怎么让一个模型跟着鼠标移动

【附源码】基于java的校园停车场管理系统的设计与实现61m0e9计算机毕设SSM_基于java技术的停车场管理系统实现与设计-程序员宅基地

文章浏览阅读178次。项目运行环境配置:Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。项目技术:Springboot + mybatis + Maven +mysql5.7或8.0+html+css+js等等组成,B/S模式 + Maven管理等等。环境需要1.运行环境:最好是java jdk 1.8,我们在这个平台上运行的。其他版本理论上也可以。_基于java技术的停车场管理系统实现与设计

Android系统播放器MediaPlayer源码分析_android多媒体播放源码分析 时序图-程序员宅基地

文章浏览阅读3.5k次。前言对于MediaPlayer播放器的源码分析内容相对来说比较多,会从Java-&amp;amp;gt;Jni-&amp;amp;gt;C/C++慢慢分析,后面会慢慢更新。另外,博客只作为自己学习记录的一种方式,对于其他的不过多的评论。MediaPlayerDemopublic class MainActivity extends AppCompatActivity implements SurfaceHolder.Cal..._android多媒体播放源码分析 时序图

java 数据结构与算法 ——快速排序法-程序员宅基地

文章浏览阅读2.4k次,点赞41次,收藏13次。java 数据结构与算法 ——快速排序法_快速排序法