云彩店邀请码|半壳|优胜
MapReduce是一个建立在大范围的商用呆板上,用来高效处置大数据的一种散布式并行编制程序模子。MapReduce由于具备财经、真实、高效、易用的便宜而变成大数据处置范围的合流编制程序模子。然而,在开拓职员运用MapReduce步调模子处置大数据的进程中,仍旧生存以次不及。1)MapReduce步调模子的庄重的map-reduce数据处置过程与实际寰球的数据操纵并不实足相容,用户必需要把实际寰球的题目变化为map-reduce的数据流,本领运用MapReduce的框架。2)用户必需过程一段功夫的进修培植本领深度领会MapReduce的数据模子并运用MapReduce数据处置框架来处置题目。3)MapReduce框架不足对搀杂的数据处置算法的扶助,对代码重用及可视化开拓的扶助。 正文在领会和归纳国表里接洽功效的普通上,接洽了面向MapReduce的图形化步调开拓本领,实行了MapReduce的图形化步调开拓东西集MRTS(MapReduce Tool Suite)。该本领对MapReduce步调举行了笼统建立模型,设置了MapReduce步调的元模子,设置了MapReduce步调模子的建立准则。舆论鉴于这一本领安排并实行了MapReduce的图形化步调开拓东西集MRTS,供给了MapReduce步调的图形化开拓,模子处置,功课处置和数据处置功效。 结果,正文运用MapReduce的图形化步调开拓东西集MRTS,对准CSV方法的大数据文献,以图形化的办法建立了关系的数据操纵汇合,并运用那些数据操纵汇合天生了可本质运转的MapReduce运用步调。试验截止考证了面向MapReduce步调的图形化步调开拓本领的精确性和可用性及MapReduce的图形化步调开拓东西集的适用性。
来源:半壳优胜鲸鱼幸运星转载请保留出处和链接!
本文链接:http://87cpy.com/294622.html
本站部分内容来源网络如有侵权请联系删除