免费论文摘要：散布式集群体例YARN中搀和异构节点扶助的接洽与实行

以GPU和Intel MIC为代办的计划加快元件已在科学计划、图形图像处置等范围获得了普遍的运用，其在鉴于云平台的高本能计划及大数据处置等目标也具备普遍的运用远景。YARN是新一代Hadoop散布式集群体例，其对计划资源的调配安排重要对准CPU，缺乏对计划加快元件的扶助。对准这一题目，正文在原有散布式集群体例YARN的普通上，增添了对带有计划加快元件的搀和异构节点的扶助。正文领会了在YARN中增添计划加快元件须要处置的三个难点，辨别是搀和异构节点中的计划加快元件资源在集群中的安排题目、集群中对计划加快元件的状况监察和控制与处置题目和多个工作同声挪用计划加快元件而惹起的资源争用题目。为领会决之上的三个难点，正文举行了以次的安排。计划加快元件的资源封装安排沿用了邻近节点绑缚的本领对节点内的资源举行封装，处置了搀和异构节点中的计划加快元件资源怎样在集群中举行调配安排的题目。搀和异构节点上计划加快元件的一致安排处置安排沿用了将计划加快元件工作领会成长途读入、工作实行和长途写回三个局部，并在实行时沿用三级清流模子的本领处置了多个工作同声挪用计划加快元件而惹起的资源争用题目。集群入彀算加快元件的一致监察和控制和处置安排在集群Master上保护了一个及时传播计划加快元件状况的消息表，处置了集群内计划加快元件资源的及时状况处置题目。正文安排实行了在YARN上可扶助计划加快元件工作的编制程序接口供给给步调员运用，囊括单个计划加快元件工作的编制程序接口、集群功课挪用计划加快元件资源本领以及集群功课工程的封装和提交本领三个局部。正文经过在4台节点构成的带有GPU计划加快元件的集群情况中，运用第三方基准步调MAGMA的LU、QR、Cholesky领会算法和5万张图片特性索取及聚类索引的运用范例，对正文体例举行了试验尝试，并对试验截止举行了领会，试验截止考证了正文计划的灵验性。

来源：半壳优胜鲸鱼幸运星转载请保留出处和链接！

本文链接：http://87cpy.com/284051.html