ICode9

精准搜索请尝试: 精确搜索
首页 > 数据库> 文章详细

SpringBoot+Mysql实现读写分离主从复制(二)

2021-02-02 10:01:05  阅读:626  来源: 互联网

标签:binlog 主从复制 slave SpringBoot mysql 线程 服务器 Mysql master


mysql主从复制原理

为什么需要主从复制?

1、在业务复杂的系统中,有这么一个情景,有一句sql语句需要锁表,
导致暂时不能使用读的服务,那么就很影响运行中的业务,使用主从复
制,让主库负责写,从库负责读,这样,即使主库出现了锁表的情景,
通过读从库也可以保证业务的正常运作。
2、做数据的热备
3、架构的扩展。业务量越来越大,I/O访问频率过高,单机无法满足,
此时做多库的存储,降低磁盘I/O访问的频率,提高单个机器的I/O性
能。

1、什么是mysql的主从复制?

MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。MySQL 默认采用异步复制方式,这样从节点不用一直访问主服务器来更新自己的数据,数据的更新可以在远程连接上进行,从节点可以复制主数据库中的所有数据库或者特定的数据库,或者特定的表。

2、mysql复制原理
在这里插入图片描述
原理:

1、master服务器将数据的改变记录二进制binlog日志,当master上的
数据发生改变时,则将其改变写入二进制日志中;
2、slave服务器会在一定时间间隔内对master二进制日志进行探测其是
否发生改变,如果发生改变,则开始一个I/OThread请求master二进制
事件
3、同时主节点为每个I/O线程启动一个dump线程,用于向其发送二进
制事件,并保存至从节点本地的中继日志中,从节点将启动SQL线程从
中继日志中读取二进制日志,在本地重放,使得其数据和主节点的保持
一致,最后I/OThread和SQLThread将进入睡眠状态,等待下一次被唤
醒。
也就是说从库会生成两个线程,一个I/O线程,一个SQL线程; I/O线程会去请求主库的binlog,并将得到的binlog写到本地的relay-log(中继日志)文件中; 主库会生成一个log dump线程,用来给从库I/O线程传binlog; SQL线程,会读取relay log文件中的日志,并解析成sql语句逐一执行;

注意:

1–master将操作语句记录到binlog日志中,然后授予slave远程连接的权限(master一定要开启binlog二进制日志功能;通常为了数据安全考虑,slave也开启binlog功能)。
2–slave开启两个线程:IO线程和SQL线程。其中:IO线程负责读取master的binlog内容到中继日志relay log里;SQL线程负责从relay log日志里读出binlog内容,并更新到slave的数据库里,这样就能保证slave数据和master数据保持一致了。
3–Mysql复制至少需要两个Mysql的服务,当然Mysql服务可以分布在不同的服务器上,也可以在一台服务器上启动多个服务。
4–Mysql复制最好确保master和slave服务器上的Mysql版本相同(如果不能满足版本一致,那么要保证master主节点的版本低于slave从节点的版本)
5–master和slave两节点间时间需同步

具体步骤:

1、从库通过手工执行change master to 语句连接主库,提供了连接的
用户一切条件(user 、password、port、ip),并且让从库知道,二进
制日志的起点位置(file名 position 号); start slave
2、从库的IO线程和主库的dump线程建立连接。
3、从库根据change master to 语句提供的file名和position号,IO线程
向主库发起binlog的请求。
4、主库dump线程根据从库的请求,将本地binlog以events的方式发给
从库IO线程。
5、从库IO线程接收binlog events,并存放到本地relay-log中,传送过
来的信息,会记录到master.info中
6、从库SQL线程应用relay-log,并且把应用过的记录到relay-log.info
中,默认情况下,已经应用过的relay 会自动被清理purge

3、mysql主从形式
在这里插入图片描述

一主一从
主主复制
一主多从—扩展系统读取的性能,因为读是在从库读取的
多主一从—5.7开始支持
联级复制


4、mysql主从同步延时分析

mysql的主从复制都是单线程的操作,主库对所有DDL和DML产生的日志写进binlog,由于binlog是顺序写,所以效率很高,slave的sql thread线程将主库的DDL和DML操作事件在slave中重放。DML和DDL的IO操作是随机的,不是顺序,所以成本要高很多,另一方面,由于sql thread也是单线程的,当主库的并发较高时,产生的DML数量超过slave的SQL thread所能处理的速度,或者当slave中有大型query语句产生了锁等待,那么延时就产生了。

解决方案:

1.业务的持久化层的实现采用分库架构,mysql服务可平行扩展,分散
压力。
2.单个库读写分离,一主多从,主写从读,分散压力。这样从库压力比
主库高,保护主库。
3.服务的基础架构在业务和mysql之间加入memcache或者redis的
cache层。降低mysql的读压力。
4.不同业务的mysql物理上放在不同机器,分散压力。
5.使用比主库更好的硬件设备作为slave,mysql压力小,延迟自然会变
小。
6.使用更加强劲的硬件设备

mysql主从复制安装配置

1、基础设置准备两台Linux服务器,Mysql复制最好确保master和slave服务器上的Mysql版本相同(如果不能满足版本一致,那么要保证master主节点的版本低于slave从节点的版本)
123.56.141.** 端口3306 (主) mysql版本5.7.32
192.168.200.** 端口3306 (从) mysql版本8.0.21

2.主服务器配置:

#修改配置文件,执行以下命令打开mysql配置文件
vi /etc/my.cnf
#在mysqld模块中添加如下配置信息
log-bin=master-bin #二进制文件名称  [必须]启用二进制日志
binlog-format=ROW #二进制日志格式,有row、statement、mixed三种格式,row指的是把改变的内容复制过去,而不是把命令在从服务器上执行一遍,statement指的是在主服务器上执行的SQL语句,在从服务器上执行同样的语句。MySQL默认采用基于语句的复制,效率比较高。mixed指的是默认采用基于语句的复制,一旦发现基于语句的无法精确的复制时,就会采用基于行的复制。
server-id=1 #要求各个服务器的id必须不一样(默认是1,一般使用ip的后三位)
binlog-do-db=msb #同步的数据库名称(此处很关键:同步主机创建的新库则不要配置这一行;建议不要配置这一行)

3、在主服务器上配置从服务器登录主服务器的账号并授权

###授权操作
set global validate_password_policy=0;
set global validate_password_length=1;
grant replication slave on *.* to 'root'192.168.200.**' identified by '******';
###刷新权限
flush privileges;
### 命令含义
###  GRANT:赋权命令  
###   *.*:当前用户对所有数据库和表的相应操作权限  
###  ‘root’@’%’:权限赋给root用户,所有ip都能连接
###  IDENTIFIED BY ‘******’:连接时输入密码,密码为******

4、从服务器的配置

#修改配置文件,执行以下命令打开mysql配置文件
vi /etc/my.cnf
#在mysqld模块中添加如下配置信息
log-bin=master-bin #二进制文件的名称
binlog-format=ROW #二进制文件的格式
server-id=2 #服务器的id 和主服务器必须不同(默认使用IP的三位)

5、重启主服务器的mysqld服务

#重启mysql服务
service mysqld restart
#登录mysql数据库
mysql -uroot -p
#查看master的状态
show master status;

在这里插入图片描述

6、重启从服务器并进行相关配置(根据上述来配置)

#重启mysql服务
service mysqld restart
#登录mysql
mysql -uroot -p
#连接主服务器
#根据主数据库中的实际情况来填写相应字段,如上图所示
change master to master_host='123.56.141.**',master_user='root',master_password='******',master_port=3306,master_log_file='master-bin.000005',master_log_pos=816;
#启动slave
start slave
#查看slave的状态
show slave status\G

在这里插入图片描述

注:Slave_IO及Slave_SQL进程必须正常运行,即YES状态,否则都
是错误的状态(如:其中一个NO均属错误)。
注: Read_Master_Log_Pos同步读取二进制日志的位置,大于等于
Exec_Master_Log_Pos
注:master_log_file在每次重启主机时都会发生改变,重启后需要改一
下 上述6 

配置完成接下来测试(主机创建数据库、表、给表新增数据并在从库查看)
在这里插入图片描述
从库查看数据
在这里插入图片描述
完结!!!!!!!!

<ERROR 3021 (HY000)>:
I/o进程错误下一篇文章解决

标签:binlog,主从复制,slave,SpringBoot,mysql,线程,服务器,Mysql,master
来源: https://blog.csdn.net/ch_csdn_ch/article/details/113535016

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有