ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Elastic Stack日志分析(十)- Elasticsearch数据路由详解

2022-02-24 12:01:27  阅读:199  来源: 互联网

标签:hash Elastic number 文档 routing 分片 Elasticsearch Stack 路由


目录

1. 文档存储如何路由到相应分片

  一个文档,最终会落在主分片的一个分片上,到底应该在哪一个分片?这就是数据路由。

2. 路由算法

  当我们创建文档时,它如何决定这个文档应当被存储在分片 1 还是分片 2 中呢?首先这肯定不会是随机的,否则将来要获取文档的时候我们就不知道从何处寻找了。实际上,这个过程是根据下面这个公式决定的:
s h a r d = h a s h ( r o u t i n g ) % n u m b e r _ o f _ p r i m a r y _ s h a r d s shard = hash(routing) \% number\_of\_primary\_shards shard=hash(routing)%number_of_primary_shards  routing 是一个可变值,默认是文档的 _id ,也可以设置成一个自定义的值。routing 通过 hash 函数生成一个数字,然后这个数字再除以 number_of_primary_shards(主分片的数量)后得到余数。这个分布在 0 到 number_of_primary_shards-1 之间的余数,就是我们所寻求的文档所在分片的位置。
  这就解释了为什么我们要在创建索引的时候就确定好主分片的数量并且永远不会改变这个数量:因为如果数量变化了,那么所有之前路由的值都会无效,文档也再也找不到了。
  所有的文档 API( get 、 index 、 delete 、 bulk 、 update 以及 mget )都接受一个叫做 routing 的路由参数,通过这个参数我们可以自定义文档到分片的映射。一个自定义的路由参数可以用来确保所有相关的文档,例如所有属于同一个用户的文档都被存储到同一个分片中。
  举例:
  对一个文档经行 CRUD 时,都会带一个路由值 routing number。默认为文档 _id(可能是手动指定,也可能是自动生成)。现在要存储 1 号文档,经过哈希计算,哈希值为 2,此索引有 3个主分片,那么计算 2%3=2,就算出此文档在 P2 分片上。决定一个文档在哪个 shard 上,最重要的一个值就是 routing 值,默认是 _id,也可以手动指定,相同的 routing 值,每次过来,从 hash 函数中,产出的 hash 值一定是相同的。
  无论 hash 值是几,无论是什么数字,对 number_of_primary_shards 求余数,结果一定是在0~number_of_primary_shards-1之间这个范围内的。

标签:hash,Elastic,number,文档,routing,分片,Elasticsearch,Stack,路由
来源: https://blog.csdn.net/weixin_44758876/article/details/123108087

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有