免费论文：MapReduce中Shuffle进程的优化

Apache Hadoop体例是MapReduce编制程序模子和Google文献体例的开源实行，它在数据聚集型运用中普遍运用。经过监察和控制Hadoop集群的物理资源（外存、搜集带宽和CPU）运用率、领会MapReduce功课的实行日记创造，Hadoop所实行的MapReduce体例在Shuffle进程中生存少许题目，重要表此刻两个上面：一是集群的物理资源运用率低；二是在实行数据聚集型MapReduce功课进程中，集群生存洪量的随机IO乞求，引导Shuffle进程的实行功效低，所有功课的实行功夫长。正文经过接洽Hadoop MapReduce体例框架构造和MapReduce功课实行进程，领会并归纳感化Shuffle进程实行功效的两个重要成分：一是MapReduce功课实行进程中各别阶段对CPU、搜集带宽、外存的运用情景生存很大分别，各别的阶段绑定在同一个工作（Task）中，引导集群物理资源运用率低；二是Shuffle进程中默许的数据传输战略引导当地磁盘随机IO乞求过高，磁盘读本能差。正文进一步提出了对准上述题目的优化计划：开始将Shuffle进程从Reduce Task中辨别，产生独力的Shuffle，齐头并进一步将Shuffle重构为大众效劳（Shuffle Service）的情势，处置MapReduce体例中各别资源聚集型的操纵绑定在同一个Task内引导集群物理资源运用率低的题目；在此普通上，对MapReduce体例Shuffle进程中的数据传输战略举行优化，将感化磁盘读本能的多个成分动作衡量Reduce乞求相应程序的规范，鉴于多维度成分对乞求举行排序，变化随机的IO乞求为程序乞求，处置MapReduce体例在Shuffle进程中随机IO乞求高的题目。正文依照题目设置、题目领会、处置计划安排、体例实行的办法对MapReduce体例中Shuffle进程的优化进程举行精细阐明。结果安排了两类试验对体例举行领会评价：仿真考证试验截止表白，正文提出的优化战略不妨贬低数据传输进程中的随机IO，普及磁盘的读本能；如实集群功课比较试验截止表白，正文提出的优化计划不妨普及Hadoop MapReduce体例的功效，减少MapReduce功课实行功夫。正文提出的优化计划对多种数据处置体例的优化题目均有确定参考价格。

来源：半壳优胜鲸鱼幸运星转载请保留出处和链接！

本文链接：http://87cpy.com/259426.html