免费论文摘要：Storm框架弹性本领的接洽与实行

Storm散布式流式处置框架在及时数据领会，处置中普遍运用。经过领会Storm功课调配战略，监察和控制Storm集群的物理资源（IO、搜集带宽和CPU）运用率、领会Storm功课的实行日记创造，Storm体例在用户功课工作调配进程中生存少许题目，重要表此刻三个上面：一是用户功课工作并行度树立办法不对理，对用户的散布式编制程序体味诉求高；二是在实行Storm功课进程中，工作并行度一直维持静止，缺乏对数据流和外部负载的动静符合本领，引导用户功课及时性得不到保护；第三，沟通资源聚集型功课啮合，集群里面用户功课资源彼此比赛，集群资源运用率不高。 正文经过接洽Storm体例框架构造和Topology功课实行进程，领会并归纳感化用户功课工作调配题目的两个重要成分：一是不精巧的工作并行度，不许对数据流和外部负载的变革准时的相应；二是Storm功课实行进程中各别工作对CPU、搜集带宽、外存的运用情景生存很大分别，沟通资源聚集型的功课调配到同一计划节点，引导集群物理资源运用率低。 正文进一步安排了对准上述题目的弹性本领计划：开始援用了论理工作和物理工作的观念，并辨别Storm体例中论理工作和物理工作，在此普通上，对准工作并行度动静舒卷题目，安排了高效的工作并行度算法，并实行了论理工作与物理工作的重映照本领，集成在当地工作安排中。同声，正文对准资源需要百般化的工作安排，安排了一种动静负载平稳本领。在正文体例的安排和实行中，商量到正文安排计划与Storm功课的兼容性，保持并连接了默许Storm中的容错战略。 正文依照题目设置、题目领会、处置计划安排、体例实行的办法对Storm体例顶用户功课工作调配进程的优化进程举行精细阐明。结果安排了两类试验对体例举行领会评价：工作并行度动静舒卷尝试试验，考证了工作并行度动静舒卷的有理性，考证该战略能赶快的对当地资源的变革做出反应。动静负载平稳尝试试验，考证了全部动静负载平稳战略的有理性。正文安排的优化计划不妨普及Storm功课对数据流和外部负载变革的动静符合本领，同声普及Storm体例集群的资源运用率。正文实行的弹性本领对多种数据处置体例的优化题目均有确定参考价格。 要害词：云计划，Storm，流式处置，工作并行度，数据处置

来源：半壳优胜育转载请保留出处和链接！

本文链接：http://87cpy.com/294776.html