论文摘要：云环境中任务统一调度框架的研究与实现

数据密集型计算使得Google应用于并行处理的MapReduce框架引起了关注，开源实现Hadoop在这个海量数据处理需求的场景之下得到了快速发展。同时随着网络带宽不断增长，通过网络访问非本地化的计算服务（包括软件应用、存储和信息服务等）的条件不断成熟，其中系统虚拟化技术的突破使得IaaS(Infrastructure as a Service，基础设施即服务)发展尤其迅速。不同任务的需求使得学术界与工业分别部署了相应任务的支撑集群，然而为了避免任务间性能干扰，各种任务集群相互独立。由于任务对资源的使用偏好导致集群资源利用不够均衡合理，同时，集群为了应付峰值任务处理请求，集群的部署也采用峰值资源部署。这些都加重了集群资源利用不充分的问题，同时也增加了多集群的维护成本。通过合理调度使得不同任务共享同一集群资源，既可以减少集群空闲资源浪费而且可以提高集群数据处理规模。

对于异构任务，通过资源共享以及任务统一调度可以使得异构任务共享集群，实现不同任务资源消耗的削峰填谷，这不仅有利于各类任务充分利用偏好资源，提升任务性能，同时扩大了单任务可用集群规模，提高了集群峰值处理水平。为此本文分析以Hadoop MapReduce Job为代表的离线数据处理任务与以Virtual Machine为代表的在线服务任务的资源消耗特性；借鉴现有的单层及多层调度系统，结合异构任务资源消耗特性，充分分析资源的动态使用过程，设计了一种针对异构任务的资源共享调度框架，其中各应用管理模块分解具体任务将任务以资源需求描述抽象的方式提交给统一调度模块，统一调度模块将该资源请求加入相应队列，并根据集群目前负载情况统一处理集群资源请求分配集群资源，从而实现异构任务的统一调度；为了保证任务运行过程中资源不被抢占，采用轻量级的资源隔离机制对任务获得资源进行隔离，保障任务运行时性能；并且为了保证各类任务按需使用资源，避免集群中资源被某类任务独占而其他任务得不到相应，设计调度分派策略保证资源的动态合理共享，最终通过该系统提升了高负载情况下任务执行性能、扩大了集群负载处理能力。

基于上述研究工作，本文设计并实现了云计算环境中任务的统一调度框架，对上述研究成果和关键技术进行了可行性和有效性验证，通过实验分析证明这种任务统一调度框架有效地提升了高负载情况下任务执行性能、扩大了集群负载处理能力。

来源：半壳优胜鲸鱼幸运星转载请保留出处和链接！

本文链接：http://87cpy.com/294753.html