UCloud计算工厂：Mesos驱动的虚拟机与容器资源管理系统

116 浏览量更新于2024-08-31 收藏 360KB PDF 举报

"UCloud的‘计算工厂’产品旨在满足渲染、基因测序等计算密集型服务的需求，通过一套基于Mesos的计算资源管理系统提供快速且大规模的虚拟机创建能力。 Mesos作为一个开源的分布式资源管理框架，其核心价值在于高度的可扩展性和简洁的架构设计。本文将深入探讨Mesos在UCloud中的应用，包括如何处理同时支持虚拟机和容器的需求，以及如何整合多地域多数据中心资源，实现全球范围内的统一调度和低成本运维。尽管OpenStack和UCloud的云主机服务更适合大规模公有云环境，但UCloud在业务需求的匹配度上选择了Mesos，因为其提供基础的资源管理、任务调度等功能，允许用户根据业务逻辑定制化开发Framework和Executor，从而支持多种资源使用方式，如虚拟机和容器。 Mesos的广泛应用表明了其在容器编排领域的优势，使得UCloud能够构建出既能满足复杂业务需求又能有效降低成本的计算资源管理平台。"

使用使用Mesos管理虚拟机管理虚拟机

摘要

为了满足渲染、基因测序等计算密集型服务的需求，UCloud 推出了“计算工厂”产品，让用户可以快速创建大量的计算

资源（虚拟机）。该产品的背后，是一套基于 Mesos 的计算资源管理系统。本文简要介绍该系统的结构、Mesos 在

UCloud 的使用以及我们遇到的问题。

业务需求

我们的需求主要是两方面：

同时支持虚拟机和容器。

在“容器化”的浪潮下，为什么我们还需要支持虚拟机呢？首先，一些业务有严格的安全隔离要求，容器虽好，但还做不

到和虚拟机同等级的隔离性。其次，一些业务程序不能运行在 Linux 上，比如图片、动画的渲染软件大都是 Windows

程序。

整合多地域多数据中心。

我们的资源来源于一些拥有闲置资源的合作伙伴，这些资源散布于多个地域的多个数据中心中。我们的平台需要能够

支持全局的调度，同时尽可能减小运营、运维的成本。

简单地说，我们需要有一个平台，统一封装多个数据中心的计算资源，并且同时支持虚拟机、容器等多种形式的资源

使用方式。

（图1：计算资源管理平台的需求示意图）

说到虚拟机，首先想到的就是 UCloud 自己的云主机UHost 和开源的 OpenStack，然而，这两套系统都是针对大型公

有云的场景，而且主要只针对于虚拟机这一种业务。它们功能丰富、模块众多，运维运营上都需要很大的成本。然而

我们的业务并不需要这么多功能。

最终，我们选择基于 Mesos 来实现这套平台。

为什么选择 Mesos

Mesos是Apache下的开源分布式资源管理框架，它是一个分布式系统的内核。

通过 Mesos，一个数据中心所提供的不再是一台台服务器，而是一份份的资源。资源可以是 CPU 核数、内存、存

储、GPU 等等。如果把一个数据中心当做一个操作系统的话，Mesos 就是这个操作系统的内核。

我们选择 Mesos 的原因在于它拥有高度可扩展性，同时又足够简单。

作为内核，Mesos 只提供最基础的功能：资源管理、任务管理、调度等。并且每一种功能，都以模块的方式实现，方

便进行定制。架构上，Master 和 Agent 两个模块就实现了资源相关的所有工作，用户只需根据自己的业务逻辑实现

Framework 和 Executor 即可。这样就支持我们能够把计算资源封装成虚拟机、容器等各种形式。

采用 Mesos 来进行容器编排的方案已经被很多厂商使用，相关的资料文档也比较丰富。然而用 Mesos 来管理虚拟

机，业内并没有应用于生产环境的实践。本文的余下内容，主要向读者分享一下 UCloud 用 Mesos 管理虚拟机的思路

下载后可阅读完整内容，剩余9页未读，立即下载

weixin_38644141

粉丝: 6
资源: 924

UCloud计算工厂：Mesos驱动的虚拟机与容器资源管理系统

一个可供参考的使用Mesos管理虚拟机的实践分享

Mesos资源共享平台

Mesos管理虚拟机实践：在容器化时代的支持与整合

Mesos管理虚拟机实践：在容器化时代的安全与多中心整合

mesos-spark:Mesos-Spark 虚拟机

UCloud计算工厂：基于Mesos的虚拟机与容器管理

Apache Mesos：分布式资源管理与集群优化

OpenStack与集群资源管理：从虚拟机到容器的演进

Apache Mesos：高效集群资源管理与分配解决方案

Apache Mesos 1.11.0：数据中心资源管理与调度核心

最新资源