CRUSH数据分布算法

2021-05-17 22:03:18 阅读：286 来源： 互联网

标签：副本 bucket step rule CRUSH 算法数据分布 select

placement rule

Cluster Map反映了存储系统层级的物理拓扑结构，placement Rules决定了了一个PG的对象副本如何选择的规则，通过这些自己设定的规则，用户可以设定副本在集群中的分布，其定义格式如下：

rule <rulename> {
    ruleset <ruleset>
    type [replicated|erasure]
    min_size <min-size>
    max_size <max-size>
    step take <bucket-name>
    step select [choose|chooseleaf] [firstn|indep] <num> type <bucket-type>
    step emit
}

ruleset : 相当于rule的id

type : 存储池pool的类型，是副本还是纠删码

min_size : 如果副本数小于这个数值，就不会应用这条rule

max_size : 如果副本数大于这个数值，就不会应用这条rule

step take : crush规则的入口，一般是类型为root的bucket

step sleect : 分为choose 和chooseleaf两种， num 代表选择的数量，bucket-type是预期的bucket类型

step emit : 代表从take开始到这个操作结束。

这里着重讲解下rule的step select，需要注意的是select开始的起点，是上一个step的输出

select 分为两种

choose : choose 在选择到预期类型的bucket后就到此结束，进行下一个select操作
chooseleaf ： chooseleaf 在选择到预期的bucket后会继续递归选到osd
firstn 和indep : 都是深度优先遍历算法，主要区别在于如果选择的num为4，如果无法选够4个结果的时候 firstn 会返回[1,2,4] 这种结果，而indep会返回[1,2,CRUSH_ITEM_NONE,4], 一半情况下都是使用firstn

参考资料

1. 深入理解ceph crush(1)—-理解crush map文件

2. ceph若干关键问题

3. ceph的CRUSH算法的源码分析.md

4. 014 Ceph管理和自定义CRUSHMAP

5. Ceph源码解析：CRUSH算法

6.ceph的CRUSH算法的源码分析

标签：副本,bucket,step,rule,CRUSH,算法,数据分布,select
来源： https://www.cnblogs.com/sunbines/p/14778728.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

CRUSH数据分布算法

参考资料