免费论文摘要：MapReduce本能模子和参数摆设的接洽与实行

跟着数据量的急遽延长，保守的数据处置本领已不许满意数据处置诉求的大含糊量、低本钱、大略精巧、高真实性和可扩充的特性。所以，Google提出了用来洪量数据处置的MapReduce框架，其开源实行Hadoop在试验中获得了普遍的运用。但是在本质运用进程中，Hadoop在集群资源运用率、功课实行本能、参数摆设、工作安排等上面都生存诸多题目，对那些题目举行接洽领会具备宏大的意旨。 对准提高功课实行本能、普及集群资源运用率的急迫需要，创造本能模子对功课实行本能举行猜测领会利害常有意旨的，不妨灵验地创造功课实行进程中展示的题目并举行相映的优化；在本能优化上面，Hadoop体例波及很多的摆设参数，有理的参数摆设会在功课实行时赢得较好的本能，参数的采用对于用户来说是较难的题目，以是机动地为用户采用参数则不妨大大缩小用户的处事量。 正文重要实行MapReduce本能建立模型和参数摆设的关系接洽，经过领会MapReduce功课实行功夫及关系感化成分，获得功课实行进程中的各项资源本钱，中心参观工作并行实行、资源比赛和工作波折对功课实行本能的感化，创造MapReduce本能模子以猜测功课的实行功夫，同声结适用户在功夫和本钱开支上面的多种需要，创造多目的因变量，以期经过探求算法找到一组满意多目的因变量的参数摆设值供用户运用，并经过试验对优化功效举行了考证。 开始，正文对功课实行进程中波及到的参数举行了分门别类领会，归纳出集群参数、体例摆设参数、功课参数对功课的实行本能均有感化，同声对准各别的参数典型给出了参数的各别获得本领，这就为本能模子的可行性与适用性奠定了普通。 其次，正文创造了扩充本能模子，按照功课实行进程中的资源占用情景，如磁盘IO本钱、搜集传输本钱和CPU本钱，同声商量集群运转情况中的工作并行度、资源比赛和工作波折那些搀杂成分对功课本能的感化，对功课的每个阶段创造本钱项，而后充溢商量本钱项之间的联系（并行或程序或臃肿），创造本能模子，并经过试验考证了本能模子的精确性。 第三，正文实行了鉴于多目的因变量的参数优化，MapReduce波及稠密的体例参数，那些体例参数对MapReduce功课实行本能有很大的感化，按照本能模子获得的功课实行功夫，同声结适用户在功课实行功夫和本钱开支上面的诉求，建立多目的因变量，稠密的参数形成了目的因变量中的一个高维解空间，正文运用了一种探求功效较好的并行遗传-忌讳探求算法来探求一组较优的参数摆设值供用户运用。 结果，贯串前方的处事，安排并实行了一个集功课参数获得、功课本能猜测、领会和参数优化于一体的优化体例。用户规则它们的运用步调在实行时的截至功夫和估算开销，优化器不妨给出相映的较优资源供给典型和体例参数摆设。结果经过试验考证了优化器的优化功效，证领会该优化器不妨对准用户的各别需要供给较优的资源供给典型和参数摆设。

来源：半壳优胜鲸鱼幸运星转载请保留出处和链接！

本文链接：http://87cpy.com/294774.html