标签：缓存 EXPLAIN 查询 剖析 计划 KingbaseES 数据库
关键字：
Explain，让阅读者迅速了解关键点，同时便于互联网检索，引流
概述
了解KingbaseES查询计划对于开发人员和数据库管理员来说都是一项关键技能。这可能是优化SQL查询的第一件事，也是验证优化的SQL查询是否确实实现期望结果的方式。
KingbaseES数据库中的查询生命周期
每个查询都会经历不同的阶段，了解下面周期的每个阶段，对理解数据库是很重要的。
第一阶段是通过JDBC/ODBC或通过其他方式如KSQL（客户端工具）连接到数据库。
第二阶段是将查询转换为解析树的格式，就像 SQL 查询的编译形式。
第三阶段是重写系统/规则系统。它采用从第二阶段生成的解析树，并以规划器/优化器可以开始在其中工作的方式重写它。
第四阶段是最重要数据库的核心。规划器使得知执行器知道如何执行查询、使用什么索引、是否扫描较小的表以消除更多不必要的记录等问题。
第五个也是最后一个阶段是执行器，它执行实际执行并返回结果。
下面将描述第四阶段的工作内容。
数据设置
首先建立一些表来运行本文的实验。
CREATE TABLE TEST_TABLE AS
select id, lpad(id,10,'0') code, md5(random()) name
from generate_series(1, 1000000) id;
该表现在包含1000000行记录。
下面的大多数示例将基于上表。有意保持简单，专注于过程而不是表/数据的复杂性。
进入规划阶段
KingbaseES数据库系统通过执行EXPLAIN命令，让用户可以在计划阶段看到实际发生的事情。
KingbaseES解释一个查询
explain select * from test_table limit 10;
通过使用EXPLAIN，可以在数据库实际执行查询计划之前查看它们。将在下面的部分中了解每一个的部分，先看看另一个扩展版本的EXPLAIN调用EXPLAIN ANALYZE。
explain analyze select * from test_table limit 10;
与 不同EXPLAIN，EXPLAIN ANALYSE实际上在数据库中运行查询。这个选项对于了解计划者是否没有正确发挥其作用非常有帮助；即，从EXPLAIN和生成的计划是否存在巨大差异EXPLAIN ANALYZE。
什么是数据库中的缓冲区和缓存？
这里讨论一个有意义的指标BUFFERS。它解释了有多少数据来自缓存，以及有多少必须从磁盘中获取。
explain (analyze,buffers) select * from test_table limit 10 offset 20;
Buffers : shared hit=1意味着从 KingbaseES缓存本身获取了1个页面。
explain (analyze,buffers) select * from test_table limit 100 offset 500;
Buffers: shared hit=2 read=4，显示4个页面来自磁盘。该read部分是显示有多少页面来自磁盘的变量，hit表示来自缓存。如果我们再次执行相同的查询（记住ANALYSE运行查询），那么所有数据现在都来自缓存。
KingbaseES使用一种称为 LRU（最近最少使用）缓存的机制将经常使用的数据存储在内存中。了解到 KingbaseES 的缓存机制，可以使用EXPLAIN (ANALYSE, BUFFERS)命令查看它是如何工作的。
VERBOSE 命令参数
Verbose 是另一个提供额外信息的命令参数。
explain (analyze,buffers,verbose) select * from test_table limit 100 offset 500;
注意，Output: id, code, name是附加的。在复杂的查询计划中，将打印大量其他信息。默认情况下，COSTS and TIMING选项TRUE作为设置，除非您想将它们设置为FALSE。
KingbaseES中的 FORMAT 解释
KingbaseES能够以多种格式提供查询计划，例如JSON，这些计划可以用某种语言进行解析。
explain (analyze,buffers,verbose,format json) select * from test_table limit 100 offset 5000;
同时还支持其他格式：TEXT（默认）、JSON、XML、YAML
总结EXPLAIN使用方式
EXPLAIN 通常会开始使用的计划类型，主要用于生产系统。
EXPLAIN ANALYSE用于运行查询以及获取查询计划。这是获得计划中的计划时间和执行时间细分以及与执行查询的成本和实际时间的比较。
EXPLAIN (ANALYSE, BUFFERS) 在分析之上使用以获取来自缓存和磁盘的行/页数以及缓存的行为方式。
EXPLAIN (ANALYSE, BUFFERS, VERBOSE) 获取有关查询的详细信息和附加信息。
EXPLAIN(ANALYSE,BUFFERS,VERBOSE,FORMAT JSON)是以特定格式导出的方式；在这种情况下，JSON。
查询计划的元素
无论复杂性如何，任何查询计划都有一些基本结构。在本节中，将重点关注这些结构，这将有助于以抽象的方式理解查询计划。
查询的节点
查询计划由节点组成：
一个节点可以被认为是数据库执行的一个阶段。节点大多是嵌套的，如上图所示；在Seq Scan它之前和之上完成，然后应用该Limit子句。可以添加一个Where子句来理解多层次的嵌套。
explain select * from test_table where code = '0002222' limit 10 offset 500;
l 筛选ID > 10000 的行。
l 使用过滤器进行顺序扫描。
l 在顶部应用LIMIT条件。
如您所见，数据库识别出只需要 10 行，并且一旦达到所需的 10 行就不会再进行扫描。当前，已关闭查询并行，SET max_parallel_workers_per_gather =0; ，以便计划更简单。
查询规划器中的成本
成本是数据库查询计划的关键部分，由于它们的表示方式，这些成本很容易被误解。
需要注意的几个重要事项是：
l LIMIT条款的启动成本不为零。这是因为启动成本汇总到顶部，看到的是其下方节点的成本。
l 总成本是一个衡量标准，与规划者的相关性比与用户的相关性更高。
l 通常，顺序扫描在估计方面很模糊，因为数据库不知道如何优化它们。索引可以极大地加速带有WHERE子句的查询。
l Width很重要，因为一行越宽，需要从磁盘获取的数据就越多。
如果我们实际运行查询，那么成本会更有意义。
数据库规划和执行
计划和执行时间是仅使用EXPLAIN ANALYSE选项获得的指标。
Planner（Planning Time）根据各种参数决定查询应该如何运行，Executor（执行时间）运行查询。上面指出的这些参数是抽象的，适用于任何类型的查询。运行时间以毫秒表示。极少的场景，会出现Plan程序可能需要更多时间来计划查询，而执行程序需要更少时间。它们不一定需要彼此匹配，但如果它们差距很多，那么就要检查其原因了。
在典型代表在线事务处理的 OLTP 系统中，任何计划和执行的总和应该小于 50 毫秒，除非它是分析查询/大量写入/已知异常。在典型的业务中，交易通常从数千到数百万不等。应始终非常仔细地观察这些执行时间，因为这些较小的成本较高的查询可能汇总起来并增加巨大的开销。
优化查询从这里出发
已经涵盖了从查询生命周期到规划器如何做出决策的步骤，本文省略了像节点类型（扫描、排序、连接）这样的主题，因为它们交为复杂，另需文档说明。本文的目的是泛泛了解查询规划器的工作原理、影响其决策的因素以及KingbaseES 提供的工具以更好地理解规划器。
相关内容可参考官方产品用户文档中的路径：
《[系统管理][参考手册]KingbaseES客户端应用参考手册》、《[应用开发及迁移][参考手册]SQL语句参考手册》
标签：缓存,EXPLAIN,查询,剖析,计划,KingbaseES,数据库 来源： https://www.cnblogs.com/kingbase/p/15399484.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。