ICode9

精准搜索请尝试: 精确搜索
首页 > 数据库> 文章详细

MySQL索引,实现方式?

2021-08-20 19:03:02  阅读:172  来源: 互联网

标签:存储 方式 查询 索引 预读 MySQL 磁盘 节点


 

1、问题:数据库为什么要设计索引?

 图书馆存了1000W本图书,要从中找到《架构师之路》,一本本查,要查到什么时候去?

为了快速查找一本书,图书管理员设计了一套规则:

  • (1)、一楼放历史类,二楼放文学类,三楼放IT类…
  • (2)、IT类,又分软件类,硬件类…
  • (3)、软件类,又按照书名音序排序…

与之类比,数据库存储了1000W条数据,要从中找到name=”shenjian”的记录,一条条查,要查到什么时候去?

于是,要有索引,用于提升数据库的查找速度

 

2、问题:哈希(hash)比 树(tree)更快,索引结构为什么要设计成Tree型?

 加速查找速度的数据结构,常见的有两类:

(1)、哈希,例如:HashMap,查询/插入/修改/删除的平均时间复杂度都是O(1);

(2)、,例如:平衡二叉搜索树,查询/插入/修改/删除的平均时间复杂度都是O(lg(n));

 

可以看到,不管是读请求,还是写请求,哈希类型的索引,都要比树型的索引更快一些,那为什么,索引结构要设计成树型呢?

索引设计成树形,和SQL的需求相关。

(1)、单行查询

对于这样一个单行查询的SQL需求:

select * from t where name=”shenjian”

单行查询确实是哈希索引更快,因为每次都只查询1条记录。

TIP:所以,如果业务需求都是单行访问,例如passport,确实可以使用哈希索引。

 

(2)、排序查询

但是对于排序查询的SQL需求:

  • 分组:group by

  • 排序:order by

  • 比较:<、>

哈希索引,时间复杂度会退化为O(n),而树型的“有序”特性,依然能够保持O(log(n)) 的高效率。

任何脱离需求的设计都是耍流氓。

TIP:InnoDB并不支持哈希索引。

 

3、问题:数据库索引为什么使用B+树?

如果用下面几种tree结构实现 index: 

第1种:二叉搜索树

 

二叉搜索树,如上图,是最为大家所熟知的一种数据结构,就不展开介绍了,它为什么不适合用作数据库索引?

(1)、当数据量大的时候,树的高度会比较高,数据量大的时候,查询会比较慢。

(2)、每个节点只存储一个记录,可能导致一次查询有很多次磁盘IO。

 

第二种:B树

 

B树,如上图,它的特点是:

(1)、不再是二叉搜索,而是m叉搜索;

(2)、叶子节点,非叶子节点,都存储数据;

(3)、中序遍历,可以获得所有节点;

画外音,实在不想介绍这个特性:非根节点包含的关键字个数j满足,(┌m/2┐)-1 <= j <= m-1,节点分裂时要满足这个条件。

 

什么是局部性原理?

B树被作为实现索引的数据结构被创造出来,是因为它能够完美的利用“局部性原理”。

局部性原理的逻辑是这样的:

(1)、内存读写块,磁盘读写慢,而且慢很多;

(2)、磁盘预读:磁盘读写并不是按需读取,而是按页预读,一次会读一页的数据,每次加载更多的数据,如果未来要读取的数据就在这一页中,可以避免未来的磁盘IO,提高效率;通常,一页数据是4K。

(3)局部性原理:软件设计要尽量遵循“数据读取集中”与“使用到一个数据,大概率会使用其附近的数据”,这样磁盘预读能充分提高磁盘IO;

 

B树为何适合做索引?

(1)、由于是m分叉的,高度能够大大降低;

(2)、每个节点可以存储j个记录,如果将节点大小设置为页大小,例如4K,能够充分的利用预读的特性,极大减少磁盘IO;

 

第三种:B+树

B+树,如上图,仍是m叉搜索树,在B树的基础上,做了一些改进

(1)、非叶子节点不再存储数据,数据只存储在同一层的叶子节点上;

画外音:B+树中根到每一个节点的路径长度一样,而B树不是这样。

(2)、叶子之间,增加了链表,获取所有节点,不再需要中序遍历;

 

这些改进让B+树比B树有更优的特性:

(1)、范围查找,定位min与max之后,中间叶子节点,就是结果集,不用中序回溯;范围查询在SQL中用得很多,这是B+树比B树最大的优势。

(2)、叶子节点存储实际记录行,记录行相对比较紧密的存储,适合大数据量磁盘存储;非叶子节点存储记录的PK,用于查询加速,适合内存存储;

(3)、非叶子节点,不存储实际记录,而只存储记录的KEY的话,那么在相同内存的情况下,B+树能够存储更多索引;

 

为什么m叉的B+树比BST的高度大大大大降低?

大概计算一下:

(1)、局部性原理,将1个节点的大小设为1页,1页4K,假设一个KEY有8字节,一个节点可以存储500个KEY,即j=500

(2)、m叉树,大概m/2<= j <=m,即可以差不多是1000叉树

(3)、那么:

  • 一层树:1个节点,1*500个KEY,大小4K
  • 二层树:1000个节点,1000*500=50W个KEY,大小1000*4K=4M
  • 三层树:1000*1000个节点,1000*1000*500=5亿个KEY,大小1000*1000*4K=4G

 

 

可以看到,存储大量的数据(5亿),并不需要太高树的深度(高度3),索引也不是太占内存(4G)。

 

4、总结

  • 数据库索引用于加速查询

  • 虽然哈希索引是O(1),树索引是O(log(n)),但SQL有很多“有序”需求,故数据库使用树型索引

  • InnoDB不支持哈希索引

  • 数据预读的思路是:磁盘读写并不是按需读取,而是按页预读,一次会读一页的数据,每次加载更多的数据,以便未来减少磁盘IO

  • 局部性原理:软件设计要尽量遵循“数据读取集中”与“使用到一个数据,大概率会使用其附近的数据”,这样磁盘预读能充分提高磁盘IO

  • 数据库的索引最常用B+树:

(1)、很适合磁盘存储,能够充分利用局部性原理,磁盘预读;

(2)、很低的树高度,能够存储大量数据;

(3)、索引本身占用的内存很小;

(4)、能够很好的支持单点查询,范围查询,有序性查询;

 

 

标签:存储,方式,查询,索引,预读,MySQL,磁盘,节点
来源: https://www.cnblogs.com/muzhongjiang/p/15167858.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有