免费论文：MapReduce本能猜测本领的接洽与实行

连年来，跟着数据量的日益延长，国表里越来越多的互联网络公司发端依附大范围数据处置来兴盛和维持其中心交易。由Google提出的用来洪量数据处置的MapReduce框架渐渐惹起了财产界和学术界的关心。Hadoop是开源实行MapReduce的散布式计划体例。很多互联网络公司用它来搭建本人的洪量数据处置平台。但是，在运用进程中，怎样提高Hadoop集群的功效是一个亟待处置的题目。经接洽创造，功课资源耗费以及运转功夫的猜测，不妨很好的扶助Hadoop安排体例以及参数摆设等上面的优化，进而不妨提高集群功效。以是，正文旨在提出一种猜测本领，不妨对Hadoop MapReduce功课各阶段的运转功夫以及资源耗费举行精确的猜测。开始，正文安排试验盯梢领会Hadoop的实行进程，并从资源耗费的观点对各个实行阶段举行建立模型领会。而后对该本能模子中的各类参数举行搜集获得。对准用户功课关系参数没辙获得的难点，经过领会本质运用场景中的特性，安排功课领会器来获得功课关系参数，处置了表面模子没辙运用于本质的题目。而后正文领会了本能模子中感化功课实行功夫的重要成分，经过试验归纳领会了功课的特性，并按照那些特性安排了鉴于范例的进修模子来猜测工作的实行功夫。结果，经过试验对本猜测体例举行了考证，并与同类处事举行了比较。试验数据表白，在适合舆论设置的两个运用场景特性的基础下，该猜测计划的平衡缺点率在10%以次，而且不妨猜测功课的CPU、IO、搜集资源的耗费。正文对准现有本领的不及，安排提出了MapReduce本能猜测本领。其重要囊括两上面实质：1、一种Hadoop功课特性抽取本领。该本领经过供给假造的Hadoop实行情况，以较小的特殊开支经过采集样品实行用户功课，抽取用户功课的特性，减少了猜测的精确性；2、一种功课资源耗费以及实行功夫的猜测本领。安排了鉴于范例的进修模子，经过从范例库中以确定战略探求与被猜测功课特性一致的范例，来拟合回归因变量举行猜测。试验截止表白该本领大略灵验，不妨用很小的特殊开支来实行精确的猜测。

来源：半壳优胜育转载请保留出处和链接！

本文链接：http://87cpy.com/259429.html