ASP＋mysql海量数据的分页优化？

一、ASP＋mysql海量数据的分页优化？

要把connection设置为使用本地游标定位方式，mysql的server端不支持recordset的recordcount属性。connstr="****

"set conn=server.createibject("ADODB.Connection"

)conn.Open connstrconn.CursorLocation=3 'adUseClient=3，而默认为adUseServer(=2)set rs=server.createobject("ADODB.recordset"

)sql="select ....."rs.open sql,conn,1,1'这时候就可以用recordcount pagecount了rs.pagesize=10rs.absolutepage=cint(strpage)select_count=rs.recordcountselect_pagecount=rs.pagecount

二、mysql大数据优化

当今互联网时代，大数据已成为各行各业的一个关键词。在这个海量数据时代，如何高效地存储、管理和分析数据成为了企业的重要挑战。MySQL作为最主流的关系型数据库之一，也面临着如何优化处理大数据的问题。

什么是MySQL大数据优化

MySQL大数据优化是指通过对MySQL数据库进行一系列调整和优化，以适应存储、管理和处理大量数据的需求。在面对百万乃至上亿级别的数据时，普通的数据库配置已经无法满足需求，需要通过各种手段提升数据库的性能和吞吐量。

MySQL大数据优化的挑战

在处理大数据时，MySQL面临着一些挑战。首先是存储空间的需求。大量的数据需要大量的存储空间，如何有效地存储数据成为了一个难题。其次是数据的写入和读取速度。大数据处理过程中可能存在大量的并发读写操作，MySQL需要能够快速且稳定地响应这些操作。

此外，大数据处理还面临着数据分析的挑战。对于大量的数据进行复杂的分析和查询是一项艰巨的任务。MySQL需要能够支持高效的查询和分析，以便用户可以从海量数据中获取有价值的信息。

MySQL大数据优化的方法

为了应对MySQL大数据优化的挑战，我们可以采取一些方法来提升MySQL的性能。以下是一些常用的优化手段：

• 分区和分表：通过将表按照某种规则分成多个子表，可以减少单个表的数据量，提高查询效率。
• 索引优化：合理创建和使用索引，可以加快数据的查找和筛选速度。
• 表结构优化：优化表的结构，如正确选择字段类型、避免冗余字段等，可以减少存储空间的使用。
• 查询优化：通过优化SQL查询语句，如合理使用JOIN、减少子查询等，可以提高查询效率。
• 缓存：使用缓存技术可以减少对数据库的访问，提高性能。
• 负载均衡：通过将数据分布在多个节点上，可以提高数据库的并发处理能力。
• 异步处理：将耗时的数据处理操作异步化，可以提高系统的响应速度。

MySQL大数据优化的实践

除了理论上的优化方法，实际的MySQL大数据优化还需要根据具体的业务需求和数据特点进行定制化的优化。

首先，需要根据数据的特点和访问模式合理选择分区和分表的策略。对于按时间分区的数据，可以根据时间范围将数据分散到不同的表中，提高查询效率。对于热点数据，可以采用垂直或水平分表的方式，将热点数据存放在单独的表中，避免单表数据量过大。

其次，需要根据查询的实际情况来选择合适的索引策略。对于频繁查询的字段，可以创建索引以加快查询速度。但是需要注意索引的数量和维护成本，过多的索引会导致写入和更新操作变慢。

此外，还可以通过优化表的结构来减少存储空间的使用。可以通过选择合适的字段类型、避免冗余字段以及对表进行归一化等手段来优化表结构。

对于查询优化，可以通过分析慢查询日志找出频繁执行的查询语句，并对其进行优化。可以选择合适的JOIN方式、减少子查询的使用、合理使用LIMIT和ORDER BY等策略，以提高查询效率。

最后，可以通过使用缓存、负载均衡和异步处理等技术来进一步提高系统的性能和吞吐量。使用缓存可以将热点数据存放在内存中，减少对数据库的访问。负载均衡可以将数据分布在多个节点上，提高并发处理能力。异步处理可以将一些耗时的数据处理操作放在后台进行，不影响前台的响应速度。

结语

MySQL大数据优化是一个复杂而又重要的课题。通过合理的配置和优化，我们可以提升MySQL在处理大数据时的性能和吞吐量。但是需要注意的是，每个业务和数据的特点都不同，所以需要根据实际情况进行定制化的优化。希望本文对您理解和应用MySQL大数据优化提供了一定的帮助。

三、mysql 大数据 优化

大数据是当今互联网时代的热门话题之一。随着技术日益发展，企业对于存储和处理大规模数据的需求也日益增加。在这其中，MySQL作为一种可靠且高效的数据库管理系统，已经成为了众多企业处理大数据的首选。

什么是MySQL?

MySQL是一种开源的关系型数据库管理系统，由瑞典公司MySQL AB开发，后被Oracle Corporation收购。它以其高性能、稳定性和可扩展性而闻名，成为企业级应用中使用最广泛的数据库之一。

大数据的挑战

然而，随着数据量的增加，MySQL面临着一些挑战。传统的MySQL架构可能无法有效地处理大规模数据的存储和查询。在处理大数据时，优化MySQL的性能成为一个重要的课题。

优化MySQL的步骤

下面将介绍一些优化MySQL性能的关键步骤。

1. 数据库设计

良好的数据库设计是优化MySQL性能的基础。在设计数据库时，应该合理划分表的结构，避免冗余和不必要的字段。优化数据表的结构可以显著提高查询性能。

2. 索引优化

索引是提高查询性能的重要因素。通过为经常查询的列添加索引，可以加快查询速度。然而，过多的索引也会影响插入和更新操作的性能。在优化索引时，需要权衡查询和写入操作的需求。

3. 查询优化

优化查询是提高MySQL性能的关键步骤之一。通过优化查询语句，可以减少查询的时间和资源消耗。合理使用JOIN、子查询和聚合函数等方法，可以提高查询效率。

4. 控制事务

事务是MySQL中保证数据一致性的重要机制。然而，长时间的事务会占用资源，并对性能造成影响。因此，需要合理控制事务的范围和持续时间，减少事务的锁定时间，提高并发性能。

5. 内存优化

内存是MySQL中重要的性能因素之一。通过调整缓冲区和缓存的大小，可以提高查询性能和响应速度。合理配置和管理内存，能够帮助MySQL更好地处理大规模数据。

6. 分区和分表

当数据规模巨大时，可以考虑使用分区和分表来提高MySQL的性能。通过将数据分散到多个表或分区中，可以加快查询速度。此外，合理划分数据还可以降低锁定冲突的概率，提高并发性能。

结论

优化MySQL对于处理大数据至关重要。通过合理的数据库设计、索引优化、查询优化、事务控制、内存优化和分区分表等方法，可以提高MySQL的性能和扩展性。对于企业来说，优化MySQL是处理大数据的关键步骤，也是迈向大数据时代的必经之路。

四、如何在WordPress后台直接优化MySQL数据库？

使用数据库优化清理插件

五、MySQL数据库日志文件：如何管理和优化MySQL的日志记录

概述

MySQL作为最流行的关系型数据库管理系统之一，其日志文件扮演着至关重要的角色。本文将讨论MySQL的日志类型、日志文件的作用，以及如何管理和优化MySQL的日志记录。

MySQL日志类型

MySQL有多种类型的日志，包括错误日志、查询日志、慢查询日志、二进制日志和事务日志。这些日志记录了数据库服务器的活动和交互，对于故障排查、性能优化和数据恢复至关重要。

日志文件的作用

日志文件记录了数据库服务器的活动，可以帮助管理员跟踪和分析系统的运行状况。错误日志记录了MySQL服务器启动和运行过程中的错误信息，查询日志记录了所有对数据库的查询操作，慢查询日志用于记录执行时间超过特定阈值的查询，而二进制日志和事务日志则对数据的变更进行记录。

管理和优化日志记录

合理管理和优化MySQL的日志记录对于系统性能和安全至关重要。管理员可以通过配置MySQL的参数文件，如my.cnf文件，来开启或关闭特定类型的日志；可以定期清理日志文件，避免日志文件过大影响性能；也可以根据具体情况调整日志记录级别和格式。

总结

MySQL的日志文件对于数据库管理至关重要，通过合理管理和优化日志记录，能够帮助管理员更好地监控系统运行状况，提高系统性能，以及在故障发生时进行快速定位和修复。

感谢您阅读本文，希望本文能够帮助您更好地理解和管理MySQL的日志文件，从而提升数据库管理的效率和质量。

六、mysql的groupby怎么优化？

在日常查询中，索引或其他数据查找的方法可能不是查询执行中最高昂的部分，例如：MySQL GROUP BY 可能负责查询执行时间 90% 还多。MySQL 执行 GROUP BY 时的主要复杂性是计算 GROUP BY 语句中的聚合函数。UDF 聚合函数是一个接一个地获得构成单个组的所有值。这样，它可以在移动到另一个组之前计算单个组的聚合函数值。当然，问题在于，在大多数情况下，源数据值不会被分组。来自各种组的值在处理期间彼此跟随。因此，我们需要一个特殊的步骤。

处理 MySQL GROUP BY让我们看看之前看过的同一张table： mysql> show create table tbl G *************************** 1. row *************************** Table: tbl Create Table: CREATE TABLE `tbl` ( `id` int(11) NOT NULL AUTO_INCREMENT, `k` int(11) NOT NULL DEFAULT '0', `g` int(10) unsigned NOT NULL, PRIMARY KEY (`id`), KEY `k` (`k`) ) ENGINE=InnoDB AUTO_INCREMENT=2340933 DEFAULT CHARSET=latin1 1 row in set (0.00 sec)

并且以不同方式执行相同的 GROUP BY 语句：

1、MySQL中 的 Index Ordered GROUP BY

mysql> select k, count(*) c from tbl group by k order by k limit 5;

+---+---+

| k | c |

+---+---+

| 2 | 3 |

| 4 | 1 |

| 5 | 2 |

| 8 | 1 |

| 9 | 1 |

+---+---+

5 rows in set (0.00 sec)

mysql> explain select k, count(*) c from tbl group by k order by k limit 5 G

*************************** 1. row ***************************

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: index

possible_keys: k

key: k

key_len: 4

ref: NULL

rows: 5

filtered: 100.00

Extra: Using index

1 row in set, 1 warning (0.00 sec)

在这种情况下，我们在 GROUP BY 的列上有一个索引。这样，我们可以逐组扫描数据并动态执行 GROUP BY（低成本）。当我们使用 LIMIT 限制我们检索的组的数量或使用“覆盖索引”时，特别有效，因为顺序索引扫描是一种非常快速的操作。

如果您有少量组，并且没有覆盖索引，索引顺序扫描可能会导致大量 IO。所以这可能不是最优化的计划。

2、MySQL 中的外部排序 GROUP BY

mysql> explain select SQL_BIG_RESULT g, count(*) c from tbl group by g limit 5 G

*************************** 1. row ***************************

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: ALL

possible_keys: NULL

key: NULL

key_len: NULL

ref: NULL

rows: 998490

filtered: 100.00

Extra: Using filesort

1 row in set, 1 warning (0.00 sec)

mysql> select SQL_BIG_RESULT g, count(*) c from tbl group by g limit 5;

+---+---+

| g | c |

+---+---+

| 0 | 1 |

| 1 | 2 |

| 4 | 1 |

| 5 | 1 |

| 6 | 2 |

+---+---+

5 rows in set (0.88 sec)

如果我们没有允许我们按组顺序扫描数据的索引，我们可以通过外部排序（在 MySQL 中也称为“filesort”）来获取数据。你可能会注意到我在这里使用 SQL_BIG_RESULT 提示来获得这个计划。没有它，MySQL 在这种情况下不会选择这个计划。

一般来说，MySQL 只有在我们拥有大量组时才更喜欢使用这个计划，因为在这种情况下，排序比拥有临时表更有效（我们将在下面讨论）。

3、MySQL中 的临时表 GROUP BY

mysql> explain select g, sum(g) s from tbl group by g limit 5 G

*************************** 1. row ***************************

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: ALL

possible_keys: NULL

key: NULL

key_len: NULL

ref: NULL

rows: 998490

filtered: 100.00

Extra: Using temporary

1 row in set, 1 warning (0.00 sec)

mysql> select g, sum(g) s from tbl group by g order by null limit 5;

+---+------+

| g | s |

+---+------+

| 0 | 0 |

| 1 | 2 |

| 4 | 4 |

| 5 | 5 |

| 6 | 12 |

+---+------+

5 rows in set (7.75 sec)

在这种情况下，MySQL 也会进行全表扫描。但它不是运行额外的排序传递，而是创建一个临时表。此临时表每组包含一行，并且对于每个传入行，将更新相应组的值。很多更新！虽然这在内存中可能是合理的，但如果结果表太大以至于更新将导致大量磁盘 IO，则会变得非常昂贵。在这种情况下，外部分拣计划通常更好。请注意，虽然 MySQL 默认选择此计划用于此用例，但如果我们不提供任何提示，它几乎比我们使用 SQL_BIG_RESULT 提示的计划慢 10 倍 。您可能会注意到我在此查询中添加了“ ORDER BY NULL ”。这是为了向您展示“清理”临时表的唯一计划。没有它，我们得到这个计划： mysql> explain select g, sum(g) s from tbl group by g limit 5 G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: tbl partitions: NULL type: ALL possible_keys: NULL key: NULL key_len: NULL ref: NULL rows: 998490 filtered: 100.00 Extra: Using temporary; Using filesort 1 row in set, 1 warning (0.00 sec)

在其中，我们获得了 temporary 和 filesort “两最糟糕的”提示。MySQL 5.7 总是返回按组顺序排序的 GROUP BY 结果，即使查询不需要它（这可能需要昂贵的额外排序传递）。ORDER BY NULL 表示应用程序不需要这个。您应该注意，在某些情况下 - 例如使用聚合函数访问不同表中的列的 JOIN 查询 - 使用 GROUP BY 的临时表可能是唯一的选择。

如果要强制 MySQL 使用为 GROUP BY 执行临时表的计划，可以使用 SQL_SMALL_RESULT 提示。

4、MySQL 中的索引基于跳过扫描的 GROUP BY前三个 GROUP BY 执行方法适用于所有聚合函数。然而，其中一些人有第四种方法。

mysql> explain select k,max(id) from tbl group by k G

*************************** 1. row ***************************

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: range

possible_keys: k

key: k

key_len: 4

ref: NULL

rows: 2

filtered: 100.00

Extra: Using index for group-by

1 row in set, 1 warning (0.00 sec)

mysql> select k,max(id) from tbl group by k;

+---+---------+

| k | max(id) |

+---+---------+

| 0 | 2340920 |

| 1 | 2340916 |

| 2 | 2340932 |

| 3 | 2340928 |

| 4 | 2340924 |

+---+---------+

5 rows in set (0.00 sec)

此方法仅适用于非常特殊的聚合函数：MIN() 和 MAX()。这些并不需要遍历组中的所有行来计算值。他们可以直接跳转到组中的最小或最大组值（如果有这样的索引）。如果索引仅建立在 (K) 列上，如何找到每个组的 MAX(ID) 值？这是一个 InnoDB 表。记住 InnoDB 表有效地将 PRIMARY KEY 附加到所有索引。(K) 变为 (K,ID)，允许我们对此查询使用 Skip-Scan 优化。仅当每个组有大量行时才会启用此优化。否则，MySQL 更倾向于使用更传统的方法来执行此查询（如方法＃1中详述的索引有序 GROUP BY）。虽然我们使用 MIN() / MAX() 聚合函数，但其他优化也适用于它们。例如，如果您有一个没有 GROUP BY 的聚合函数（实际上所有表都有一个组），MySQL 在统计分析阶段从索引中获取这些值，并避免在执行阶段完全读取表： mysql> explain select max(k) from tbl G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: NULL partitions: NULL type: NULL possible_keys: NULL key: NULL key_len: NULL ref: NULL rows: NULL filtered: NULL Extra: Select tables optimized away 1 row in set, 1 warning (0.00 sec)

过滤和分组

我们已经研究了 MySQL 执行 GROUP BY 的四种方式。为简单起见，我在整个表上使用了 GROUP BY，没有应用过滤。当您有 WHERE 子句时，相同的概念适用： mysql> explain select g, sum(g) s from tbl where k>4 group by g order by NULL limit 5 G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: tbl partitions: NULL type: range possible_keys: k key: k key_len: 4 ref: NULL rows: 1 filtered: 100.00 Extra: Using index condition; Using temporary 1 row in set, 1 warning (0.00 sec)

对于这种情况，我们使用K列上的范围进行数据过滤/查找，并在有临时表时执行 GROUP BY。在某些情况下，方法不会发生冲突。但是，在其他情况下，我们必须选择使用 GROUP BY 的一个索引或其他索引进行过滤：

mysql> alter table tbl add key(g);

Query OK, 0 rows affected (4.17 sec)

Records: 0 Duplicates: 0 Warnings: 0

mysql> explain select g, sum(g) s from tbl where k>1 group by g limit 5 G

*************************** 1. row ***************************

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: index

possible_keys: k,g

key: g

key_len: 4

ref: NULL

rows: 16

filtered: 50.00

Extra: Using where

1 row in set, 1 warning (0.00 sec)

mysql> explain select g, sum(g) s from tbl where k>4 group by g limit 5 G

*************************** 1. row ***************************

id: 1

select_type: SIMPLE

table: tbl

partitions: NULL

type: range

possible_keys: k,g

key: k

key_len: 4

ref: NULL

rows: 1

filtered: 100.00

Extra: Using index condition; Using temporary; Using filesort

1 row in set, 1 warning (0.00 sec)

根据此查询中使用的特定常量，我们可以看到我们对 GROUP BY 使用索引顺序扫描（并从索引中“放弃”以解析 WHERE 子句），或者使用索引来解析 WHERE 子句（但使用临时表来解析 GROUP BY）。根据我的经验，这就是 MySQL GROUP BY 并不总是做出正确选择的地方。您可能需要使用 FORCE INDEX 以您希望的方式执行查询。

七、mysql多表join怎么优化？

在MySQL中，多表联接（JOIN）的性能优化可以通过以下几个方面来考虑：

1. 索引优化：确保参与联接的列上有合适的索引。通过为联接列创建索引，可以提高联接的效率。可以使用`EXPLAIN`语句来分析查询计划，找到潜在的索引缺失或者性能差的索引。

2. 使用合适的JOIN类型：根据实际需求选择合适的JOIN类型。常见的JOIN类型有INNER JOIN、LEFT JOIN、RIGHT JOIN和FULL JOIN等。根据表之间的关系以及查询需要的结果，选择合适的JOIN类型可以减小计算的复杂度。

3. 避免多余的列：在联接查询时，只选择需要的列，避免选择无用的列。这可以减少数据传输和处理的成本，提高查询的效率。

4. 分段查询：如果联接的表很大，可以考虑将查询分成多个子查询，分别对每个子查询单独进行联接操作，然后再进行汇总。这样可以减少一次查询涉及的数据量和联接的复杂度。

5. 使用临时表：根据实际情况，可以考虑使用内存表或者临时表来存储中间结果，减少磁盘IO操作，提高联接的效率。

6. 适当的扩展硬件资源：如果联接表的数据量较大，可以考虑增加服务器的内存、CPU等硬件资源，以提高并发执行能力和速度。

需要根据具体的查询和数据情况进行优化选择，可以结合使用MySQL的查询分析工具如`EXPLAIN`来定位和解决潜在的性能问题。同时，可以对表的结构和索引进行优化，以适应查询需求。

八、如何查看mysql数据库操作记录日志？

MySQL 8.0 重新定义了错误日志输出和过滤，改善了原来臃肿并且可读性很差的错误日志。比如增加了 JSON 输出，在原来的日志后面以序号以及 JSON 后缀的方式展示。比如我机器上的 MySQL 以 JSON 保存的错误日志 mysqld.log.00.json：[root@centos-ytt80 mysql80]# jq . mysqld.log.00.json{ "log_type": 1, "prio": 1, "err_code": 12592, "subsystem": "InnoDB", "msg": "Operating system error number 2 in a file operation.", "time": "2019-09-03T08:16:12.111808Z", "thread": 8, "err_symbol": "ER_IB_MSG_767", "SQL_state": "HY000", "label": "Error"}{ "log_type": 1, "prio": 1, "err_code": 12593, "subsystem": "InnoDB", "msg": "The error means the system cannot find the path specified.", "time": "2019-09-03T08:16:12.111915Z", "thread": 8, "err_symbol": "ER_IB_MSG_768", "SQL_state": "HY000", "label": "Error"}{ "log_type": 1, "prio": 1, "err_code": 12216, "subsystem": "InnoDB", "msg": "Cannot open datafile for read-only: './ytt2/a.ibd' OS error: 71", "time": "2019-09-03T08:16:12.111933Z", "thread": 8, "err_symbol": "ER_IB_MSG_391", "SQL_state": "HY000", "label": "Error"}以 JSON 输出错误日志后可读性和可操作性增强了许多。这里可以用 Linux 命令 jq 或者把这个字串 COPY 到其他解析 JSON 的工具方便处理。只想非常快速的拿出错误信息，忽略其他信息。[root@centos-ytt80 mysql80]# jq '.msg' mysqld.log.00.json"Operating system error number 2 in a file operation.""The error means the system cannot find the path specified.""Cannot open datafile for read-only: './ytt2/a.ibd' OS error: 71""Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.""Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue."使用 JSON 输出的前提是安装 JSON 输出部件。

INSTALL COMPONENT 'file://component_log_sink_json';

完了在设置变量 SET GLOBAL log_error_services = 'log_filter_internal; log_sink_json';

格式为：过滤规则；日志输出；[过滤规则]日志输出；查看安装好的部件mysql> select * from mysql.component;+--------------+--------------------+---------------------------------------+| component_id | component_group_id | component_urn |+--------------+--------------------+---------------------------------------+| 2 | 1 | file://component_log_sink_json |+--------------+--------------------+---------------------------------------+3 rows in set (0.00 sec)

现在设置 JSON 输出，输出到系统日志的同时输出到 JSON 格式日志。mysql> SET persist log_error_services = 'log_filter_internal; log_sink_internal; log_sink_json';Query OK, 0 rows affected (0.00 sec)

来测试一把。我之前已经把表 a 物理文件删掉了。mysql> select * from a;ERROR 1812 (HY000): Tablespace is missing for table `ytt2`.`a`.

现在错误日志里有 5 条记录。

[root@centos-ytt80 mysql80]# tailf mysqld.log

2019-09-03T08:16:12.111808Z 8 [ERROR] [MY-012592] [InnoDB] Operating system error number 2 in a file operation.

2019-09-03T08:16:12.111915Z 8 [ERROR] [MY-012593] [InnoDB] The error means the system cannot find the path specified.

2019-09-03T08:16:12.111933Z 8 [ERROR] [MY-012216] [InnoDB] Cannot open datafile for read-only: './ytt2/a.ibd' OS error: 71

2019-09-03T08:16:12.112227Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

2019-09-03T08:16:14.902617Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

JSON 日志里也有 5 条记录。

[root@centos-ytt80 mysql80]# tailf mysqld.log.00.json

{ "log_type" : 1, "prio" : 1, "err_code" : 12592, "subsystem" : "InnoDB", "msg" : "Operating system error number 2 in a file operation.", "time" : "2019-09-03T08:16:12.111808Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_767", "SQL_state" : "HY000", "label" : "Error" }

{ "log_type" : 1, "prio" : 1, "err_code" : 12593, "subsystem" : "InnoDB", "msg" : "The error means the system cannot find the path specified.", "time" : "2019-09-03T08:16:12.111915Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_768", "SQL_state" : "HY000", "label" : "Error" }

{ "log_type" : 1, "prio" : 1, "err_code" : 12216, "subsystem" : "InnoDB", "msg" : "Cannot open datafile for read-only: './ytt2/a.ibd' OS error: 71", "time" : "2019-09-03T08:16:12.111933Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_391", "SQL_state" : "HY000", "label" : "Error" }

{ "log_type" : 1, "prio" : 2, "err_code" : 12049, "subsystem" : "InnoDB", "msg" : "Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.", "time" : "2019-09-03T08:16:12.112227Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_224", "SQL_state" : "HY000", "label" : "Warning" }

{ "log_type" : 1, "prio" : 2, "err_code" : 12049, "subsystem" : "InnoDB", "msg" : "Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.", "time" : "2019-09-03T08:16:14.902617Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_224", "SQL_state" : "HY000", "label" : "Warning" }

那可能有人就问了，这有啥意义呢？只是把格式变了，过滤的规则我看还是没变。那我们现在给第二条日志输出加过滤规则先把过滤日志的部件安装起来

INSTALL COMPONENT 'file://component_log_filter_dragnet';

mysql> SET persist log_error_services = 'log_filter_internal; log_sink_internal; log_filter_dragnet;log_sink_json';

Query OK, 0 rows affected (0.00 sec)

只保留 error，其余的一律过滤掉。SET GLOBAL dragnet.log_error_filter_rules = 'IF prio>=WARNING THEN drop.';

检索一张误删的表mysql> select * from a;ERROR 1812 (HY000): Tablespace is missing for table `ytt2`.`a`.

查看错误日志和 JSON 错误日志发现错误日志里有一条 Warning，JSON 错误日志里的被过滤掉了。2019-09-03T08:22:32.978728Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`a` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

再举个例子，每 60 秒只允许记录一个 Warning 事件mysql> SET GLOBAL dragnet.log_error_filter_rules = 'IF prio==WARNING THEN throttle 1/60.';Query OK, 0 rows affected (0.00 sec)

多次执行mysql> select * from b;ERROR 1812 (HY000): Tablespace is missing for table `ytt2`.`b`.mysql> select * from b;ERROR 1812 (HY000): Tablespace is missing for table `ytt2`.`b`.mysql> select * from b;ERROR 1812 (HY000): Tablespace is missing for table `ytt2`.`b`.

现在错误日志里有三条 warning 信息

2019-09-03T08:49:06.820635Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`b` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

2019-09-03T08:49:31.455907Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`b` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

2019-09-03T08:50:00.430867Z 8 [Warning] [MY-012049] [InnoDB] Cannot calculate statistics for table `ytt2`.`b` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.

mysqld.log.00.json 只有一条{ "log_type" : 1, "prio" : 2, "err_code" : 12049, "subsystem" : "InnoDB", "msg" : "Cannot calculate statistics for table `ytt2`.`b` because the .ibd file is missing. Please refer to http://dev.mysql.com/doc/refman/8.0/en/innodb-troubleshooting.html for how to resolve the issue.", "time" : "2019-09-03T08:49:06.820635Z", "thread" : 8, "err_symbol" : "ER_IB_MSG_224", "SQL_state" : "HY000", "and_n_more" : 3, "label" : "Warning" }

总结，我这里简单介绍了下 MySQL 8.0 的错误日志过滤以及 JSON 输出。MySQL 8.0 的component_log_filter_dragnet 部件过滤规则非常灵活，可以参考手册，根据它提供的语法写出自己的过滤掉的日志输出。

九、mysql数据库删除记录重建索引吗？

会重建索引的，如果你删除的数据恰巧有索引指向它，索引就会重建

十、mysql数据表中查找重复记录？

下面以 sqlserver数据库为例进行说明。

select * from TableA where b in (select b from TableA group by b having count(b) > 1) 这样就列举出了b字段所有的重复数据，可以根据对应的行号，取得位于第几行。

如果要查询a字段或者c字段重复数据，可以相应的把上面的b字段替换成a字段或c字段即可。 举例：

1、创建表student 2、查询语句: select * from student where name in (select name from student group by name having count(name ) > 1) 这样就查出名字重复列，以及行号id。