mysql日志分析-科压科技

一、mysql日志分析

博客文章：MySQL日志分析的重要性

在数据库应用中，日志分析是一项至关重要的任务。对于MySQL数据库来说，日志分析更是必不可少。MySQL日志提供了关于数据库操作的详细信息，包括查询执行情况、错误信息、性能问题等。通过分析这些日志，我们可以更好地了解数据库的运行状况，及时发现和解决问题，从而提高数据库的性能和稳定性。

博客文章：如何进行MySQL日志分析

MySQL提供了多种日志，包括错误日志、慢查询日志、查询日志等。在进行日志分析时，我们需要根据实际需求选择合适的日志，并掌握正确的分析方法。以下是一些常用的分析技巧：

错误日志：记录数据库操作的错误信息，可以帮助我们及时发现和解决问题。
慢查询日志：记录执行时间较长的查询，可以帮助我们优化数据库性能。
查询日志：记录所有数据库操作，可以用于审计和监控。
使用工具：可以使用第三方工具如MySQL Workbench、Percona Toolkit等对MySQL日志进行自动化分析。
定期分析：定期分析日志，及时发现和解决潜在问题。

博客文章：日志分析的注意事项

在进行MySQL日志分析时，还需要注意一些事项，以免影响数据库的正常运行。

保护隐私：在分析日志时，要确保不会泄露敏感信息，如用户数据、系统密码等。
合理配置：要根据实际需求合理配置日志级别和文件大小，避免日志文件过大导致磁盘空间不足。
定期备份：在进行日志分析前，要确保数据库的备份文件安全可靠，避免数据丢失。

总结：MySQL日志分析是数据库管理的重要环节，通过正确的分析和合理的配置，我们可以更好地了解数据库的运行状况，及时发现和解决问题，提高数据库的性能和稳定性。相信通过对MySQL日志的深入分析和理解，我们能更好地应对各种挑战，为企业的数字化发展保驾护航。

二、mysql数据库日志文件怎么管理？

　一.错误日志　　错误日志在Mysql数据库中很重要，它记录着mysqld启动和停止，以及服务器在运行过程中发生的任何错误的相关信息。　　1.配置信息　　--log-error=[file-name]用来指定错误日志存放的位置。　　如果没有指定[file-name]，默认hostname.err做为文件名，默认存放在DATADIR目录中。　　也可以将log-error配置到my.cnf文件中，这样就省去了每次在启动mysqld时都手工指定--log-error.例如:　　[mysql@test2]$ vi /etc/my.cnf　　# The MySQL server

三、如何查看mysql数据库操作记录日志？

MySQL 8.0 重新定义了错误日志输出和过滤，改善了原来臃肿并且可读性很差的错误日志。比如增加了 JSON 输出，在原来的日志后面以序号以及 JSON 后缀的方式展示。比如我机器上的 MySQL 以 JSON 保存的错误日志 mysqld.log.00.json：[root@centos-ytt80 mysql80]# jq . mysqld.log.00.json{ "log_type": 1, "prio": 1, "err_code": 12592, "subsystem": "InnoDB", "msg": "Operating system error number 2 in a file operation.", "time": "2019-09-03T08:16:12.111808Z", "thread": 8, "err_symbol": "ER_IB_MSG_767", "SQL_state": "HY000", "label": "Error"}{ "log_type": 1, "prio": 1, "err_code": 12593, "subsystem": "InnoDB", "msg": "The error means the system cannot find the path specified.", "time": "2019-09-03T08:16:12.111915Z", "thread": 8, "err_symbol": "ER_IB_MSG_768", "SQL_state": "HY000", "label": "Error"}{ "log_type": 1, "prio": 1, "err_code": 12216, "subsystem": "InnoDB", "msg": "Cannot open datafile for read-only: './ytt2/a.ibd' OS error: 71", "time": "2019-09-03T08:16:12.111933Z", "thread": 8, "err_symbol": "ER_IB_MSG_391", "SQL_state": "HY000", "label": "Error"}以 JSON 输出错误日志后可读性和可操作性增强了许多。这里可以用 Linux 命令 jq 或者把这个字串 COPY 到其他解析 JSON 的工具方便处理。只想非常快速的拿出错误信息，忽略其他信息。[root@centos-ytt80 mysql80]# jq '.msg' mysqld.log.00.json"Operating system error number 2 in a file operation.""The error means the system cannot find the path specified.""Cannot open datafile for read-only: './ytt2/a.ibd' OS error: 71""Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.""Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue."使用 JSON 输出的前提是安装 JSON 输出部件。

INSTALL COMPONENT 'file://component_log_sink_json';

完了在设置变量 SET GLOBAL log_error_services = 'log_filter_internal; log_sink_json';

格式为：过滤规则；日志输出；[过滤规则]日志输出；查看安装好的部件mysql> select * from mysql.component;+--------------+--------------------+---------------------------------------+| component_id | component_group_id | component_urn |+--------------+--------------------+---------------------------------------+| 2 | 1 | file://component_log_sink_json |+--------------+--------------------+---------------------------------------+3 rows in set (0.00 sec)

现在设置 JSON 输出，输出到系统日志的同时输出到 JSON 格式日志。mysql> SET persist log_error_services = 'log_filter_internal; log_sink_internal; log_sink_json';Query OK, 0 rows affected (0.00 sec)

来测试一把。我之前已经把表 a 物理文件删掉了。mysql> select * from a;ERROR 1812 (HY000): Tablespace is missing for table `ytt2`.`a`.

现在错误日志里有 5 条记录。

[root@centos-ytt80 mysql80]# tailf mysqld.log

2019-09-03T08:16:12.111808Z 8 [ERROR] [MY-012592] [InnoDB] Operating system error number 2 in a file operation.

2019-09-03T08:16:12.111915Z 8 [ERROR] [MY-012593] [InnoDB] The error means the system cannot find the path specified.

2019-09-03T08:16:12.111933Z 8 [ERROR] [MY-012216] [InnoDB] Cannot open datafile for read-only: './ytt2/a.ibd' OS error: 71

2019-09-03T08:16:12.112227Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

2019-09-03T08:16:14.902617Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

JSON 日志里也有 5 条记录。

[root@centos-ytt80 mysql80]# tailf mysqld.log.00.json

{ "log_type" : 1, "prio" : 1, "err_code" : 12592, "subsystem" : "InnoDB", "msg" : "Operating system error number 2 in a file operation.", "time" : "2019-09-03T08:16:12.111808Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_767", "SQL_state" : "HY000", "label" : "Error" }

{ "log_type" : 1, "prio" : 1, "err_code" : 12593, "subsystem" : "InnoDB", "msg" : "The error means the system cannot find the path specified.", "time" : "2019-09-03T08:16:12.111915Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_768", "SQL_state" : "HY000", "label" : "Error" }

{ "log_type" : 1, "prio" : 1, "err_code" : 12216, "subsystem" : "InnoDB", "msg" : "Cannot open datafile for read-only: './ytt2/a.ibd' OS error: 71", "time" : "2019-09-03T08:16:12.111933Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_391", "SQL_state" : "HY000", "label" : "Error" }

{ "log_type" : 1, "prio" : 2, "err_code" : 12049, "subsystem" : "InnoDB", "msg" : "Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.", "time" : "2019-09-03T08:16:12.112227Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_224", "SQL_state" : "HY000", "label" : "Warning" }

{ "log_type" : 1, "prio" : 2, "err_code" : 12049, "subsystem" : "InnoDB", "msg" : "Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.", "time" : "2019-09-03T08:16:14.902617Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_224", "SQL_state" : "HY000", "label" : "Warning" }

那可能有人就问了，这有啥意义呢？只是把格式变了，过滤的规则我看还是没变。那我们现在给第二条日志输出加过滤规则先把过滤日志的部件安装起来

INSTALL COMPONENT 'file://component_log_filter_dragnet';

mysql> SET persist log_error_services = 'log_filter_internal; log_sink_internal; log_filter_dragnet;log_sink_json';

Query OK, 0 rows affected (0.00 sec)

只保留 error，其余的一律过滤掉。SET GLOBAL dragnet.log_error_filter_rules = 'IF prio>=WARNING THEN drop.';

检索一张误删的表mysql> select * from a;ERROR 1812 (HY000): Tablespace is missing for table `ytt2`.`a`.

查看错误日志和 JSON 错误日志发现错误日志里有一条 Warning，JSON 错误日志里的被过滤掉了。2019-09-03T08:22:32.978728Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

再举个例子，每 60 秒只允许记录一个 Warning 事件mysql> SET GLOBAL dragnet.log_error_filter_rules = 'IF prio==WARNING THEN throttle 1/60.';Query OK, 0 rows affected (0.00 sec)

多次执行mysql> select * from b;ERROR 1812 (HY000): Tablespace is missing for table `ytt2`.`b`.mysql> select * from b;ERROR 1812 (HY000): Tablespace is missing for table `ytt2`.`b`.mysql> select * from b;ERROR 1812 (HY000): Tablespace is missing for table `ytt2`.`b`.

现在错误日志里有三条 warning 信息

2019-09-03T08:49:06.820635Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`b` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

2019-09-03T08:49:31.455907Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`b` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

2019-09-03T08:50:00.430867Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`b` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

mysqld.log.00.json 只有一条{ "log_type" : 1, "prio" : 2, "err_code" : 12049, "subsystem" : "InnoDB", "msg" : "Cannot calculate statistics for table `ytt2`.`b` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.", "time" : "2019-09-03T08:49:06.820635Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_224", "SQL_state" : "HY000", "and_n_more" : 3, "label" : "Warning" }

总结，我这里简单介绍了下 MySQL 8.0 的错误日志过滤以及 JSON 输出。MySQL 8.0 的component_log_filter_dragnet 部件过滤规则非常灵活，可以参考手册，根据它提供的语法写出自己的过滤掉的日志输出。

四、mysql主从日志格式？

statement：历史比较悠久。会记录完整的sql语句。binlog空间比较小，跨库操作丢失数据。针对一些函数uuid，rand() 不安全性（SBR，statement based replication）

row：安全性很高，不会出现丢失数据的情况。binlog空间占用比较大，会记录每行操作的语句。mysql5.6 binlog_rows_query_log_events 开启也可以看到完整sql语句了。在生产中建议使用row这种binlog记录格式（RBR，row based replication）

五、怎么查看mysql日志？

1、首先确认你日志是否启用了mysql>show variables like 'log_bin'。

2、如果启用了，即ON，那日志文件就在mysql的安装目录的data目录下。

3、怎样知道当前的日志mysql> show master status。

4、看二进制日志文件用mysqlbinlog，shell>mysqlbinlog mail-bin.000001或者shell>mysqlbinlog mail-bin.000001 | tail，Windows 下用类似的。

MySQL的日志操作：

1、首先，登陆mysql后，执行sql语句：show variables like 'log_bin'。

2、#错误日志log-errol开启方式：在my.ini的[mysqld]选项下：添加代码：log-error=E:\log-error.txt。

记录内容：主要是记录启动、运行或停止mysqld时出现的致命性问题，都是系统级的错误记录。

3、#查询日志：log，开启方式：在my.ini的[mysqld]选项下：添加代码：log=E:/mysql_log.txt。

4、#二进制日志：log-bin，开启方式：在my.ini的[mysqld]选项下：添加代码：log-bin=E:/mysql_log_bin，记录内容：主要是记录所有的更改数据的语句，可使用mysqlbinlog命令恢复数据。

六、MySQL怎么清除日志？

mysql如果开启binlog日志，长时间就会积累很多占用磁盘空间的binlog日志。

一般清理这些日志就可以达到节省磁盘空间的要求。

首先登录mysql

mysql> show binary logs;

mysql> purge binary logs to 'mysql-bin.000098';

mysql> show binary logs;

这样你就发现mysql-bin.000098之前的mysql-binlog日志都已经删除了。

如果平时用不到mysql-bin log日志，可以在

my.cnf

里面注销关闭，然后重启mysql就不产生binlog日志了。但是平时我们如果遇到数据需要回复，还是最好能开启binlog日志，这样数据回复的时候就有一个保障。

七、MySQL日志管理详解？

INSTALL COMPONENT 'file://component_log_sink_json';

完了在设置变量 SET GLOBAL log_error_services = 'log_filter_internal; log_sink_json';

来测试一把。我之前已经把表 a 物理文件删掉了。mysql> select * from a;ERROR 1812 (HY000): Tablespace is missing for table `ytt2`.`a`.

现在错误日志里有 5 条记录。

[root@centos-ytt80 mysql80]# tailf mysqld.log

2019-09-03T08:16:12.111808Z 8 [ERROR] [MY-012592] [InnoDB] Operating system error number 2 in a file operation.

2019-09-03T08:16:12.111915Z 8 [ERROR] [MY-012593] [InnoDB] The error means the system cannot find the path specified.

2019-09-03T08:16:12.111933Z 8 [ERROR] [MY-012216] [InnoDB] Cannot open datafile for read-only: './ytt2/a.ibd' OS error: 71

JSON 日志里也有 5 条记录。

[root@centos-ytt80 mysql80]# tailf mysqld.log.00.json

{ "log_type" : 1, "prio" : 2, "err_code" : 12049, "subsystem" : "InnoDB", "msg" : "Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.", "time" : "2019-09-03T08:16:14.902617Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_224", "SQL_state" : "HY000", "label" : "Warning" }

INSTALL COMPONENT 'file://component_log_filter_dragnet';

mysql> SET persist log_error_services = 'log_filter_internal; log_sink_internal; log_filter_dragnet;log_sink_json';

Query OK, 0 rows affected (0.00 sec)

只保留 error，其余的一律过滤掉。SET GLOBAL dragnet.log_error_filter_rules = 'IF prio>=WARNING THEN drop.';

检索一张误删的表mysql> select * from a;ERROR 1812 (HY000): Tablespace is missing for table `ytt2`.`a`.

再举个例子，每 60 秒只允许记录一个 Warning 事件mysql> SET GLOBAL dragnet.log_error_filter_rules = 'IF prio==WARNING THEN throttle 1/60.';Query OK, 0 rows affected (0.00 sec)

现在错误日志里有三条 warning 信息

八、对MySQL慢查询日志进行分析的基本教程？

开启慢查询日志

mysql>setglobalslow_query_log=1;

定义时间SQL查询的超时时间

mysql>setgloballong_query_time=0.005;

查看慢查询日志的保存路径

mysql>showglobalvariableslike'slow_query_log_file';

查看慢查询

cat/var/log/mysql/slow.log

九、mysql日志

MySQL日志：保障数据库安全的重要措施

随着互联网的快速发展和数据规模的不断扩大，数据库的安全性变得尤为重要。MySQL作为广泛使用的关系型数据库管理系统，具备了很好的稳定性和可靠性。而MySQL日志系统，则是保障数据库安全的重要措施之一。下面，我们将详细了解MySQL日志系统以及它对数据库安全的重要作用。

什么是MySQL日志？

MySQL日志是MySQL数据库管理系统用来记录数据库活动的机制。它记录了对数据库进行的各种操作，包括数据更改、事务操作、错误发生等。MySQL日志有五种类型：

错误日志 (error log)：记录了MySQL服务启动和运行过程中出现的错误。
查询日志 (query log)：记录对数据库执行的查询语句。
慢查询日志 (slow query log)：记录执行时间超过阈值的查询语句。
二进制日志 (binary log)：记录了对数据库进行的所有更改操作，用于数据恢复、主从复制等。
事务日志 (transaction log)：记录了数据库的事务操作，用于崩溃恢复和回滚。

MySQL日志对数据库安全的重要作用

MySQL日志对数据库安全具有以下重要作用：

1. 数据完整性保护

通过MySQL日志，可以追踪数据库的变更记录，包括数据的插入、更新和删除。当出现数据异常或错误时，可以通过分析日志找到问题的根源，保证数据的完整性。此外，MySQL的事务日志还可以用于回滚操作，确保在事务执行失败或中断时，数据库的一致性得到保障。

2. 故障恢复和数据复原

MySQL的二进制日志是一种高效的恢复机制。当数据库发生故障或系统崩溃时，可以通过二进制日志进行数据恢复。同时，二进制日志还支持数据库的主从复制，通过在主库上生成二进制日志并传递给从库，实现数据的备份和复制，增加数据库的容灾能力。

3. 安全审计与追责

MySQL的查询日志和慢查询日志记录了所有对数据库执行的查询语句，可以用于安全审计和追责。通过分析查询日志，可以发现并定位潜在的安全威胁，尽早采取相应的安全措施。同时，慢查询日志还可以帮助优化数据库性能，提高查询效率。

4. 异常和错误排查

MySQL的错误日志记录了服务启动和运行过程中出现的错误信息，有助于排查异常和错误。当数据库出现问题时，通过分析错误日志可以快速定位和解决问题，减少系统停机时间。

配置MySQL日志

为了充分利用MySQL日志系统，我们需要对其进行适当配置。以下是一些常见的配置技巧：

1. 错误日志配置

通过在MySQL的配置文件中设置log_error选项，可以指定错误日志的路径和文件名。例如：log_error=/var/log/mysql/error.log，将错误日志记录在/var/log/mysql/目录下的error.log文件中。

2. 查询日志配置

查询日志会记录所有执行的查询语句，包括敏感信息。因此，默认情况下是不开启的。可以通过设置general_log和general_log_file选项开启查询日志，并指定日志文件的路径。例如：general_log=1和general_log_file=/var/log/mysql/query.log。

3. 慢查询日志配置

慢查询日志记录执行时间超过阈值的查询语句。可以通过设置slow_query_log和slow_query_log_file选项开启慢查询日志，并指定日志文件路径。同时，还可以设置long_query_time选项来定义阈值，默认为10秒。

4. 二进制日志配置

二进制日志记录了所有对数据库的更改操作。可以通过设置log_bin选项开启二进制日志。同时，还可以设置expire_logs_days选项来定义日志保留的天数。

5. 事务日志配置

事务日志是InnoDB存储引擎特有的日志文件。可以通过设置innodb_log_file_size和innodb_log_files_in_group选项来配置事务日志的大小和数量。

总结

MySQL日志系统是保障数据库安全的重要措施。通过记录数据库的各种操作和活动，MySQL日志能够保障数据的完整性和一致性，支持故障恢复和数据复原，帮助安全审计和追责，以及异常和错误排查。为了发挥MySQL日志的作用，我们需要适当配置各类日志，并定期对日志进行分析和审查，确保数据库的安全性和稳定性。

十、如何查看MySQL数据库日志？

MySQL数据库日志简介

在MySQL数据库中，日志是记录数据库活动和事件的重要工具。它可以帮助您跟踪数据库操作，排除故障并进行性能优化。MySQL主要包括错误日志、查询日志、慢查询日志和二进制日志。

查看MySQL错误日志

MySQL错误日志记录着MySQL服务器启动、运行过程中的警告和错误信息。您可以通过以下步骤查看错误日志：

登录MySQL服务器： mysql -u 用户名 -p
执行以下SQL命令以查看错误日志路径： SHOW VARIABLES LIKE 'log_error';
使用系统文件浏览器或命令行工具前往日志文件路径，并打开/查看错误日志文件。

查看MySQL查询日志和慢查询日志

查询日志记录了所有对MySQL数据库的查询操作，而慢查询日志则特别记录执行时间超过指定时间的查询。这两者对于优化数据库性能非常重要。

要启用查询日志和慢查询日志，您需要编辑MySQL配置文件： sudo nano /etc/mysql/mysql.conf.d/mysqld.cnf 在文件中找到相应的配置项并设置为： general_log = 1 slow_query_log = 1

保存文件后，重启MySQL服务： sudo service mysql restart

接着您可以通过以下命令查看查询日志和慢查询日志具体路径： SHOW VARIABLES LIKE 'general_log_file'; SHOW VARIABLES LIKE 'slow_query_log_file';

查看MySQL二进制日志

MySQL二进制日志包含了对数据库执行的所有更改操作，这对于进行数据库恢复和复制非常有用。

要查看二进制日志，可以使用mysqlbinlog命令： mysqlbinlog [日志文件名]

以上就是MySQL数据库日志的相关内容，希望对您有所帮助。

感谢您阅读本文，如果您有任何问题或建议，请随时与我们联系。