论文摘要：高性能计算集群异常检测机制的研究和实现

随着人们对高性能计算需求的不断增长，高性能计算集群的规模在不断扩大，节点数目不断增多和复杂化，系统可靠性问题成为了管理和维护高性能集群的关键问题之一。特别是如何在具有成千上万个节点组成的高性能集群中有效地诊断故障位置一直是人们研究的热点。本文通过调研当前高性能计算集群可靠性问题的研究现状和发展趋势，针对高性能计算集群的本身特征，设计了一个基于异常点挖掘技术的节点级别的异常检测原型系统，并从资源监控、特征规约、异常点挖掘等方面对原型系统进行了描述。首先，本文在研究和分析了高性能计算集群异常检测相关技术的基础上，根据异常检测系统需求和设计目标，从系统的组织结构、分层体系结构、系统模块组成及系统主要工作流程等方面设计了一个可以充分结合计算机超级计算能力和人类的灵活处理能力的高性能计算集群异常检测原型系统。其次，本文采用基于linux /proc文件系统的资源监控方法，根据系统异常检测需要，灵活指定监控对象节点、监控资源属性、采样时间和采样频率。通过系统运行时各节点/proc文件系统的读取、解析、存储、传输和统计获得系统指定时间窗口内的行为特征数据空间；通过对该数据空间的形式化转换，采用基于降维预处理的FastICA数据特征规约机制实现了对系统行为特征数据空间的维规约，达到去除冗余信息,压缩数据的目标，从而降低异常分析的开销，提高了异常检测的效率和效果。再次，本文在深入研究和分析基于划分的异常点挖掘算法的基础上，对该算法进行了优化，并基于优化后的算法设计和实现了异常检测功能。通过人工指定相关挖掘阈值，挖掘出行为表现偏离与大多数节点的少数异常节点，通过评估函数计算出异常节点的异常程度，并将结果返回给管理员，实现人机结合准确检测系统故障节点的功能。最后，本文根据现有的高性能计算集群平台设计了相关实验，初步验证了本文设计的高性能计算集群异常检测原型系统的可用性和有效性。

来源：半壳优胜育转载请保留出处和链接！

本文链接：http://87cpy.com/207724.html