运维

日志

错误日志

错误日志是 MySQL 中最重要的日志之一，它记录了当 MySQL 启动和停止时，以及服务器在运行期间发生任何严重错误时的相关信息。当数据库出现任何故障导致无法正常使用时，建议首先查看此日志

该日志是默认开启的，默认存放目录 /var/log，默认的日志文件名为 mysqld.log。查看日志位置：

show variables like '%log_error%';

二进制日志

介绍

二进制日志（BINLOG）记录了所有的 DDL（数据定义语言）语句和 DML（数据操纵语言）语句，但不包括数据查询（SELECT、SHOW）语句作用：

灾难时的数据恢复
MySQL 的主从复制。在 MySQL8 版本中，默认二进制日志是开着的，涉及到的参数如下

show variables like '%log_bin%';

日志格式

MySQL 服务器中提供了多种格式来记录二进制日志，具体格式和特点如下：

20240410233014

SQL 语句：

show variables like '%binlog_format%';

修改日志格式：

-- 修改MySQL的配置文件
vim /etc/my.cnf

-- 在文件中写入参数
binlog_format=STATEMENT

-- 重启 MySQL 服务
systemctl restart mysqld;

日志查看

由于日志是以二进制的形式存储的，不能直接读取，需要通过二进制日志查询工具 mysqlbinlog 查看，具体语法：

20240410233025

日志删除

20240410233035

也可以在 MySQL 的配置文件中配置二进制日志的过期时间，设置之后，二进制日志过期会自动删除

show variables like '%binlog_expire_logs_seconds%';

查询日志

查询日志中记录了客户端的所有操作语句，而二进制日志不包含查询数据的 SQL 语句。默认情况下，查询日志是未开启的

查看查询日志是否开启：

show variables like '%general%';

如果需要开启查询日志，需要以下配置：

修改 MySQL 的配置文件 /etc/my.cnf文件，添加以下内容：

# 该选项用来开启查询日志，可选值：0或者1；0代表关闭，1代表开启
general_log=1
# 设置日志的文件名， 如果没有指定，默认的文件名为 host_name.log
general_log_file=mysql_query.log

慢查询日志

慢查询日志记录了所有执行时间超过参数 long_query_time 设置值并且扫描记录数不小于 min_examined_row_limit 的所有 SQL 语句的日志，默认未开启。long_query_time 默认为10秒，最小为0，精度可以到微妙

20240410233056

默认情况下，不会记录管理语句，也不会记录不使用索引进行查找的语句。可以使用 log_slow_admin_statements 和 log_queries_not_using_indexs 更改此行为：

20240410233104

主从复制

概述

主从复制是指将主数据库的 DDL 和 DML 操作通过二进制文件传到从库服务器中，然后在从库上对这些日志重新执行（也叫重做），从而使得从库和主库的数据同步

MySQL 支持一台主库同时向多台从库进行复制，从库同时也可以作为其他从服务器的主库，实现链状复制

MySQL 的复制有以下优点：

主库出现问题，可以快速切换到从库提供服务
实现读写分离，降低主库的访问压力
可以在从库中执行备份，以避免备份期间影响主库服务

20240410233117

原理

20240410233125

主从复制分为三步：

Master 主库在事务提交时，会把数据变更记录在二进制日志文件 Binlog 中
从库读取主库的二进制日志文件 Binlog，写入到从库的中继日志 Relay log 中
slave 重做中继日志中的事件，将改变反映他自己的数据

搭建

服务器准备

20240410233134

主库配置

修改配置文件 /etc/my.cnf

# MySQL 服务 ID，保证整个集群环境中唯一，默认为1
server-id=1
# 是否只读，1代表只读。0代表允许读写
read-only=0
# 忽略的数据，指不需要同步的数据库
binlog-ignore-db=mysql
# 指定同步的数据库
binlog-do-db=db01

重启 MySQL 服务器

systemctl restart mysqld

# 创建 user 用户，并设置密码，该用户可在任意主机连接该 MySQL 服务
create user 'user'@'%' identified whith mysql_native_password by 'root@123456';
# 为 'user'@'%' 用户分配主从复制权限
grant replication slave on *.* to 'user'@'%';

通过指令，查看二进制日志坐标

show master status;

字段含义说明：

file：从哪个日志文件开始推送日志
position：从哪个位置开始推送日志
binlog_ignore_db：指定不需要同步的数据库

从库配置

修改配置文件 /etc/my.cnf

# MySQL 服务 ID，保证整个集群环境中唯一，与主库不一样即可
server-id=2
# 是否只读，1代表只读。0代表允许读写
read-only=1

重新启动 MySQL 服务

systemctl restart mysqld

change replication source to source_host='xxx.xxx',source_user='xxx',source_password='xxx',source_log_file='xxx',source_log_pos='xxx';

上面是 MySQL8.0 的语法，如果是更老的版本的话，执行以下 SQL：

change master to master_host='xxx.xxx.xxx.xxx',master_user='xxx',master_password='xxx',master_log_file='xxx',master_log_pos='xxx';

20240410233209

开启同步操作

-- 8.0.22之后
start replica;
-- 8.0.22之前
start slave;

查看从库同步状态

-- 8.0.22之后
show replica status;
-- 8.0.22之前
show slave status;

分库分表

介绍

分库分表的中心思想是将数据分散存储，使得单一数据库/表的数据流变小来缓解单一数据库的性能问题，从而达到提升数据库性能的目的

拆分策略

20240410233231

垂直拆分

垂直分库：以表为依据，根据业务将不同的表拆分到不同的库中

20240410233242

特点：

每个表的表结构都不一样
每个库的数据也不一样
所有库的并集是全量数据

垂直分表：以字段为依据，根据字段属性将不同的字段拆分到不同的表中

20240410233251

特点：

每个表的结构都不一样
每个表的数据也不一样，一般通过一列（主键/外键）关联
所有表的并集是全量数据

水平拆分

水平分库：以字段为依据，按照一定的策略，将一个库的数据拆分到多个库中

20240410233302

特点：

每个库的表结构都一样
每个库的数据都不一样
所有库的并集是全量数据

水平分表：以字段为依据，按照一定的策略，将一个表的数据拆分到多个表中

20240410233314

特点：

每个表的表结构都一样
每个表的数据都不一样
所有表的并集是全量数据

实现技术

sharingJDBC：基于 AOP 原理，在应用程序中对本地执行的 SQL 进行拦截，解析、改写、路由处理。需要自行编码配置实现，只支持 Java 语言，性能较高
MyCat：数据库分库分表中间件，不用调整代码即可实现分库分表，支持多种语言，性能不及前者

日志​

错误日志​

二进制日志​

介绍​

日志格式​

日志查看​

日志删除​

查询日志​

慢查询日志​

主从复制​

概述​

原理​

搭建​

服务器准备​

主库配置​

从库配置​

分库分表​

介绍​

日志