免费论文摘要：散布式流式处置体例的状况迁徙接洽与实行

在散布式流式处置体例中，因为数据源爆发数据的随机性以及数据流的振动性，数据处置的工作量常常难以猜测，简单爆发数据歪斜，最后引导计划节点之间的负载不平衡，贬低流数据处置体例的本能。保守的负载平衡本领，比方算子调配、算子迁徙和负载零落等本领仍旧获得了很好的接洽。那些本领在确定的运用场景下不妨获得不错的功效，然而，算子调配常常接洽静态情景下算子的调配本领，难以符合体例负载变革，算子迁徙本领的价格比拟高，安排功夫算子不许举行数据处置，易形成较大的输入推迟，而负载零落本领常常伴跟着数据抛弃，难以被大普遍运用所接收。那些本领的缺陷引导其没有在流式处置体例中被普遍运用。鉴于保守流式处置体例及其负载平衡本领的接洽，正文提出一种经过状况数据迁徙实行体例负载平衡的计划，该计划分为三个局部：开始，变换保守的流式处置框架，安排一种鉴于分块数据(Section)的处置办法，使之满意数据迁徙的基础前提；其次，提出一种粗细粒度各别的三级负载平衡算法，经过迁徙各别量的状况数据，平稳各个计划单位的输出流和运用率，充溢发掘体例的计划本领；结果，安排一种完备真实的在线数据迁徙和议，在较少干预体例运转的情景下，动静迁徙各计划单位的状况数据，并保护迁徙前后数据的普遍性。正文在开源的、已在本质消费中运用的流式处置体例Jstorm之上实行了正文安排的计划。结果安排了二类试验对体例举行领会评价：Section安排可行性试验，考证了在各别资源摆设、各别功课典型下，正文Section安排对体例本能无大的感化，证领会其可用性；迁徙和议功效考证考查，考证了数据迁徙和议的灵验性；负载平衡战略试验，考证了动静负载平稳算法的灵验性。正文安排的优化计划不妨普及流处置体例对数据流和外部负载变革的动静符合本领，普及体例集群的资源运用率，对多种数据处置体例的优化题目均有确定参考价格。

来源：半壳优胜鲸鱼幸运星转载请保留出处和链接！

本文链接：http://87cpy.com/279700.html