摘要：MapReduce中分组算法的研究与实现

跟着互联网络的兴盛，百般情势的洪量数据成指数级延长。加入“大数据”期间，保存并领会处置那些洪量数据变成亟待处置的题目。云计划是一种将计划工作散布在洪量计划机形成的资源池上，运用户不妨按需获得计划力、保存空间和消息效劳的贸易计划模子。云计划的超大范围、高真实性、高可舒卷性、通用性等特性使得云计划在贸易化得过程中获得了极大运用。云计划为大数据的处置供给了灵验的处置计划。 MapReduce，动作云计划中心本领之一，是一种用来大范围数据的散布式处置的编制程序框架。MapReduce框架因为其大略、可扩充、容错等便宜，发端被普遍用来大范围数据处置。Hadoop动作MapReduce框架的开源实行，获得了国表里很多公司和接洽组织的运用与接洽。然而，跟着鉴于MapReduc框架的运用越来越多，对准简直运用，MapReduce模子表露出来的不及和须要矫正的上面越来越多。 经过接洽MapReduce框架的实行过程，创造框架老是运用sort-merge算法对数据排序，且sort-merge占功课实行功夫的比率为20%~30%。而对于某些功课，如会合、查问、贯穿、投影等，排序是不需要的。这类功课只须要对数据举行分批而不须要对数据排序，排序相反会减少功课的实行功夫。正文对准该题目对MapReduce框架做以次几上面的商量：经过领会关系源代码深刻领会MapReduce框架处置过程，对MapReduce处置过程举行更细粒度的阶段分别。贯串简直运用，领会sort-merge进程及展示的感化实行功效的题目；对准简直不须要排序的运用，提出一种鉴于哈希的分批算法的矫正计划，来普及MapReduce框架实行某些功课的本能。安排了对准中央截止数据举行分批的分批算法，并给出了矫正后的实行过程和简直实行；过程洪量的各别数据量的试验，表白矫正后的框架在关系的运用上不妨普及功课的实行功效。综上所述，正文安排了MapReduce框架下鉴于哈希的分批算法，并在Hadoop开源散布式体例中举行了实行。

来源：半壳优胜鲸鱼幸运星转载请保留出处和链接！

本文链接：http://87cpy.com/259430.html