标签：Google Mesos 简介 系统 调度 共享 Omega 资源

1．背景

Google的论文Omega:flexible,scalable schedulers for large compute clusters中把调度分为3代：第一代是独立的集群；第二代是两层调度（Mesos，YARN）；第三代是共享状态调度，如图9.3所示。

图9.3

2．架构

为了克服双层调度器的局限性，Google开发了下一代资源管理系统Omega。Omega是一种基于共享状态的调度器，该调度器将双层调度器中的集中式资源调度模块简化为一些持久化的共享数据（状态）和针对这些数据的验证代码，而这里的“共享数据”实际上就是整个集群的实时资源使用信息。一旦引入共享数据，共享数据的并发访问方式就成为该系统设计的核心。而Omega则采用传统数据库中基于多版本的并发访问控制方式（也称为“乐观锁”，Multi-Version Concurrency Control，MVCC），大大提升了Omega的并发性。由于Omega不再有集中式的调度模块，因此，不能像Mesos或者YARN那样，在一个统一模块中完成以下功能：对整个集群中的所有资源分组；限制每类应用程序的资源使用量；限制每个用户的资源使用量等。这些功能全部由各个应用程序调度器自我管理和控制。根据论文所述，Omega只是将优先级这一限制放到了共享数据的验证代码中，即当多个应用程序同时申请同一份资源时，优先级最高的那个应用程序将获得该资源，其他资源限制全部下放到各个子调度器。引入多版本并发控制后，限制该机制性能的一个因素是资源访问冲突的次数，冲突次数越多，系统性能下降得越快。而Google通过实际负载测试证明，这种方式的冲突次数是完全可以接受的。该论文中还谈道，Omega是从Google现有系统中演化而来的。虽然这篇论文只介绍了Omega的调度器架构，但我们可以推测它的整体架构类似于Mesos。因此，如果你了解Mesos，则通过修改Mesos的Master就可以将它改造成一个Omega。

3．优缺点

（1）优点：共享资源状态，支持更大的集群和更高的并发。

（2）缺点：只有论文，无具体实现，在小集群下没有优势。

更详细的信息，大家去看论文吧：）

标签：Google,Mesos,简介,系统,调度,共享,Omega,资源
来源： https://blog.51cto.com/15127539/2662489

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。