ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

Google F1 Schema 变更算法

2021-10-27 23:59:58  阅读:227  来源: 互联网

标签:F1 Google absent write only Schema 变更 delete


Schema

Schema 是数据库的组织结构,包含 Schema 对象,可以是表、列、数据类型、视图、存储过程、关系、主键、外键等,反映了数据库对象和其相互之间的关系。从 Schema 可以直接定义一个数据库。
在这里插入图片描述

Schema 变更

由于所有的 F1 服务器共用一个 KV 存储引擎,但上百台服务器的 Schema 变更却无法在同一时间点进行变更,Schema 的异步变更可能会带来严重的数据错乱。

Schema 变更算法

算法思路
  • 规定时间点,在这个时间点之前所有服务器要完成变更操作,如果超时没有完成的话则认为服务器下线停止工作。服务器需要按照规定的时间间隔(短于变更时长)到 KV 存储引擎中查看特殊的键值对来判断自己是否需要改变。
  • 设计中间状态,使两两中间状态可兼容,整个变更过程转化为演化过程。
Schema 状态

两个非中间状态:absent、public
两个中间状态:delete-only、write-only

  • absent 表示对象完全不存在
  • public 表示对象正常工作,可读可写
  • delete-only 的 table、column、index 的 k-v 值无法被事务读取,并且
    • table 和 column 仅能被 delete 操作修改。
    • index 仅能被 delete 和 update 操作修改。其中 update 操作能删除相关 index 的 k-v 对但不能创建新的。
  • write-only 的 column、index 的 k-v 值能被 insert、delete、update 操作修改,但无法被用户事务读取。
  • write-only 的约束对所有新的 insert、delete、update 操作有效,但不保证对所有现存数据有效。
Schema 变更算法细节

添加 Schema 状态转换过程:
在这里插入图片描述

  • 删除元素的状态过程与添加相反,并且 db reorg 发生在 absent 之前。
  • db reorg (数据重组)指在 Schema 最后确认变更之前的一系列操作,保证在 public 或 absent 之前所有旧数据的元素相关整合处理完成。
状态变更流程(以新建索引为例)
  • 从 absent 到 delete-only 的状态转换,对于absent来说由于索引不存在,添加删除元素相关数据都不会导致索引数据出现变化,对于 delete-only 状态来说只能删除元素相关的数据,但之前并没有元素产生的索引数据没得可删,所以对于两种状态的节点来说都不会发生数据的异常。
  • 从 delete-only 到 write-only 的状态转换,

标签:F1,Google,absent,write,only,Schema,变更,delete
来源: https://blog.csdn.net/qq_41763749/article/details/120995588

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有