登录
  • 欢迎访问悠扬的技术博客,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站😉

记一次mysql主从数据恢复同步的辛酸历程

Mysql 悠扬 831次浏览 已收录 0个评论

1.使用pt-table-checksum插件安装方式如下

安装之前,请确保自己的MHA集群状态是健康状态

wget https://downloads.percona.com/downloads/percona-toolkit/3.3.0/binary/redhat/7/x86_64/percona-toolkit-3.3.0-1.el7.x86_64.rpm
rpm -ivh percona-toolkit-2.1.8-1.noarch.rpm

2.在主节点执行检查数据同步情况

pt-table-checksum --user=manager --password=Root2020@ --nocheck-replication-filters --no-check-binlog-format --databases=gffp_om --replicate=gffp_om.checksums --create-replicate-table

参数说明:

--nocheck-replication-filters:不检查复制的过滤规则,比如replicate-ignore-db、replicate-wild-do-table。
--no-check-binlog-format:不检查复制的binlog模式,如果binlog模式是row模式,需要启用该参数。
--create-replicate-table:第一次进行checksum需要启用该参数,会进行checksum表的创建,用于存放结果。
--replicate=test.checksums:存放checksum结果的表。
--databases:表示要检查的库。
--tables(-t):表示要检查的表。
--replicate-check-only:表示只显示不同步的表。
--recursion-method:正常情况下工具会自动识别从库,如果识别失败,可以用该参数指定查找slave的方法,参数有四种,分别是processlist、hosts、dsn=DSN、no四种,用来决定查找slave的方式是通过show processlist、show slave hosts还是通过dsn=DSN的方式。(不同使用方式不一一实验了,生产环境)

创建DSN方式使用库

master执行需要同步的库xxx

CREATE TABLE xxx.dsns (
id int(11) NOT NULL AUTO_INCREMENT,
parent_id int(11) DEFAULT NULL,
dsn varchar(255) NOT NULL,
PRIMARY KEY (id)
);

insert into xxx.dsns select 1,1,'h=172.168.9.130,u=xxx,p=xxx,P=3306';

 

3.同步检查出现的问题

3.1没有sock文件

记一次mysql主从数据恢复同步的辛酸历程
不是啥大问题,查看从库同步状态,停止从库服务,在主库查看从库下线后,重启服务,修改tmp权限,详情查看记一次Mysql集群MHA恢复时遇到的坑点,恢复后建立软连接。
记一次mysql主从数据恢复同步的辛酸历程

3.2 Authentication plugin ‘sha256_password’ cannot be loaded: /usr/lib64/mysql/plugin/sha256_password.so: 无法打开共享对象文件: 没有那个文件或目录 at /usr/bin/pt-table-checksum line 1603.

记一次mysql主从数据恢复同步的辛酸历程
//换个用户,或者新建一个用户,mysql使用加密策略引起的问题
//查看用户
select host,user,authentication_string from mysql.user;
//创建用户授权,我用的是MHA用户
 grant select,insert,update,delete,create,drop,super,process,replication slave on *.* to 'syncuser'@'%' identified by 'Syncuser@123';
pt-table-checksum --user=xxx --password=xxx --host=172.168.9.xxx --nocheck-replication-filters --no-check-binlog-format --databases=gffp_om --replicate=gffp_om.checksums --create-replicate-table

//后台执行 
nohup pt-table-checksum --user=manager --password=Root2020@ --host=172.168.9.131 --nocheck-replication-filters --no-check-binlog-format --databases=gffp_om --replicate=gffp_om.checksums --recursion-method=dsn=D=gffp_om,t=dsns,h=172.168.9.131,P=3306,u=xxx,p=xxx --create-replicate-table &


xxx写自己的配置,翻个白眼给你看

4.从库执行同步命令

使用示例:

4.1. 在上面的例子中,我们已经通过pt-table-checksum检测出主从的不一致的表,接下来我们开始进行同步。下面的命令中指定了–replicate,并且未指定–sync-to-master,则-h代表主库。

pt-table-sync  h=36.30.39.117,P=3306,u=syncuser,p=Syncuser@123 --database=test --replicate='test.checksums' --execute

4.2. 同时指定–replicate和–sync-to-master,DSN只能有一个,且为从库。

pt-table-sync  h=36.30.39.176,P=3306,u=syncuser,p=Syncuser@123 --database=test --tables=t1 --replicate='test.checksums' --sync-to-master --execute

4.3. 如果只指定一个DSN,那么必须使用–replicate或者–sync-to-master中的一个,否则报错:At least one DSN is required, and at least two are required unless –sync-to-master or –replicate is specified。这里我们指定了–sync-to-master,那么DSN信息就代表了从库。

pt-table-sync h=36.30.39.176,u=syncuser,p=Syncuser@123,D=test,t=t1 --sync-to-master --execute

4.4. 当有多个DSN时,如果指定了–sync-to-master,那么所有的主机均为从库。否则报错:

Can’t determine master of D=test,h=…..,p=…,t=t1,u=syncuser at /usr/bin/pt-table-sync line 10020.

pt-table-sync h=36.30.39.176,u=syncuser,p=Syncuser@123,D=test,t=t1 h=36.30.39.213,u=syncuser,p=Syncuser@123,D=test,t=t1 --sync-to-master --execute

4.5. 多个DSN,不指定–sync-to-master和–replicate,如果需要修复从库的数据需要指定

–no-check-slave。

pt-table-sync h=36.30.39.117,u=syncuser,p=Syncuser@123,D=test,t=t1  h=36.30.39.176,u=syncuser,p=Syncuser@123 h=36.30.39.213,u=syncuser,p=Syncuser@123 --no-check-slave –execute

参数详解:

--ask-pass:连接MySQL时提示输入密码。 
--[no]bin-log:指定是否记录二进制日志,如果是--no-bin-log相当于执行了set sql_log_bin=0.
--[no]check-slave:检测目标服务器是否是从库。如果目标服务器是从库的话,直接对其变更是不安全的,但是有时候必须要这么做,所以此时需要指定参数--no-check-slave。
--chunk-size:指定表分块的chunk大小。
--dry-run:分析同步的过程,并打印出信息退出,并不实际执行。
--execute:指定工具执行变更操作,使表数据达成一致。
--print:打印出工具需要执行哪些语句来变更表。
--wait:如果存在主从延迟,从库可以等待多长时间追上主库,等待的时间由该参数设置,超时会终止退出。

DSN选项:

 

KEY MEANING
=== =============================================
A 指定字符集
D 同步的数据库
P 端口 S Socket文件
h 要连接的host
p 数据库密码
t 要同步的表
u 数据库用户
注意事项及建议
1. 当出现主从不一致时,我们需要判断哪个库的数据是正确的,大多数情况我们希望在主库执行变更并且同步到从库。
2. 建议要同步的表要有主键,避免出现数据重复的问题。
3. 执行变更命令前先通过--print或者--dry-run进行检查。
4. 使用多个DSN选项时,按照数据同步方向填写主机信息,如果有从库需要配合--no-check-slave参数使用。
5. 该工具在进行校验分析时会对表执行for update操作,避免在业务高峰期进行。

 


版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明记一次mysql主从数据恢复同步的辛酸历程
喜欢 (0)
支付宝[]
分享 (0)
悠扬
关于作者:
10年以上工作经验,从事2年微服务架构搭建工作,有大数据处理相关工作经验,使用spring全家桶包括:Spring,SpringBoot,SpringCloud 数据层组件服务使用SpringDataJpa,Mybatis以及其他第三方组件Sharding-JDBC,Sharding-Proxy分库分表。熟悉微服务,服务降级,限流,分流,做过项目源码修改,有cat,apollo,nacos使用经验,有Lostash,Elasticsearch,kibana,mysqlMHA生产实践经验,使用开源代码Apache Sarding项目,修改源码支持mysql分库分表使用年月日小时分库分表,docker做集群服务,Jekins做项目发布,GitLab做项目管理,使用docker容器部署,熟悉消息队列RabbitMQ,Kafka,ActiveMQ。RuoYi-Vue-Atomikos项目开源加入生态圈组件,项目支持分布式事务,界面添加多数据源,数据源动态配置,切面切换,多数据源事务支持,支持区域数据源配置,用于区域数据切分,数据层次分库。项目地址:https://gitee.com/zsiyang/ruoyi-vue-atomikos
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址