论文摘要：在线离线混合任务调度的研究与实现

       互联网的蓬勃发展使得计算机的应用场景和网络服务的内容得到不断的扩展。尤其是在云计算以及大数据计算的背景下，传统的物理计算机所承载的任务种类不再仅仅是单一类型的任务，任务的种类向多元化的方向发展。针对云中心不同类型的任务，传统做法是将不同类型甚至同一类型面向不同业务的任务划分子集群进行部署，并分别进行管理和维护。划分子集群的方法不但增加了部署、维护以及管理的成本，由于任务独占子集群更会导致集群整体的资源利用效率降低。

       目前一种广泛的做法是为不同类型的任务提供一个统一的资源管理框架，该框架作为任务和计算资源的中间层，负责调度用户请求的任务以及管理集群中的所有的节点。它向上层任务透明的提供资源调用的接口，并对下层的节点屏蔽具体任务的类型。这样做的好处是不同的任务能够无区别并且统一的使用集群中的异构节点资源池，在整体上进一步提高了资源量的利用效率。但是当前无论产业界还是学术界，统一任务调度只局限于任务特性相似的离线计算任务或者流处理任务，并没有将提供云软件服务的虚拟机任务进行混合调度。对比离线批处理任务，虚拟机服务具有任务执行时间长、不能停机以及对资源敏感（保证用户的服务质量）的特点。正是因为两类任务的这些不同特性，在线离线任务的混合管理仍然面临着一些挑战。

       针对集群资源利用率，以及虚拟机任务和离线计算任务特性不同所带来的混合调度的难度，本文设计了一种面向虚拟机服务和MapReduce任务的在线离线混合任务调度系统。主要工作如下：

       提出了在线离线任务混合调度框架。立足当前的统一资源调度框架的不足，在现有的双层任务调度框架的基础上添加了虚拟机任务管理器，该任务管理器负责管理虚拟机服务的生命周期，包括对虚拟机任务负载节点的调度，并将资源需求以描述抽象的方式提交给统一调度模块，统一调度模块统一处理集群资源请求分配集群资源，从而解决了虚拟服务和MapReduce任务不能统一调度执行的问题。

       提出了针对虚拟机任务的弹性资源调度机制。结合虚拟机任务的特点，从任务的粒度进一步提高集群资源利用效率。通过对为虚拟机任务绑定的物理资源进行动态的调整，消除超售以及预分配带来的物理资源的额外开销。同时设计了基于滑动窗口的资源绑定策略，通过计算窗口内资源消耗数据的值，能够平稳并且有效的对绑定发生与否进行决策。

       提出了针对虚拟机服务的用户服务质量保障机制。虚拟机服务具有保证用户服务质量、物理节点故障情况下虚拟机状态恢复的功能需求，混合调度框架通过资源再调度结合虚拟机任务迁移满足了这些功能需求。通过节点管理器具体发起迁移以及执行迁移操作；任务管理器中的虚拟机迁移模块用于迁移过程任务的控制，包括端口的控制以及资源的再调度以及分配；资源管理器用于为任务分配新的资源并释放旧的资源。

       通过一系列实验证明，该系统能够有效的保证虚拟机服务和MapReduce任务的统一资源调度以及任务隔离执行；系统的计算资源弹性绑定功能对于资源利用效率最多能够提升50%以上，同时带来低于1%的性能开销。

来源：半壳优胜鲸鱼幸运星转载请保留出处和链接！

本文链接：http://87cpy.com/283912.html