论文摘要：面向海量数据的防火墙日志管理系统 设计与实现

面向海量数据的防火墙日志管理系统是基于下一代防火墙日志特点和当前网络发展状况需要而出现的日志管理和分析系统。随着网络接入带宽不断增加，作为主要网关设备的防火墙，其产生的日志数量成倍增长。这给日志管理系统带来了前所未有的存储压力和分析挑战。通过对国内外日志管理系统的研究和分析，本系统将通过对日志传输、接收、过滤、入库、分析、统计、报表等七个重点模块分析与设计，主要解决现实网络场景中因海量数据造成的接收、入库和分析等系统性能问题。

本系统根据网络实际应用环境，较全面的覆盖了实际网络中日志传输、处理和分析的关键难点和关键技术。这些关键技术包括传输协议的选择与设计；接收时系统中出现竞争问题的解决方法；聚合数据为后续产品分析提供快速的数据源；数据库的选择；怎样提高入库性能；如何提高查询、统计、报表生成的速度等。针对下一代防火墙与传统防火墙的日志种类和日志规模不同，将上述关键技术做出了适应性的修改，以满足日志管理系统需求。

通过上述需求的描述，系统将采用RUDP协议作为基础的传输协议和私有的日志协议作为传输问题的解决方案。采用“双文件系统”解决接收系统中出现的竞争问题。采用聚合进程单独处理数据，提高数据查询、分析和报表生成的速度。采用Infobright数据库降低磁盘使用率，同时可以提高日志入库和查询速度。采用内存文件系统作为基础文件系统，减少磁盘IO操作，提高日志的接收和入库性能。本文将这些技术按照需求分析、概要设计、详细设计、系统测试与评估的顺序，由外而内展示日志管理系统结构，可让读者全面了解系统的设计和实现。

来源：半壳优胜鲸鱼幸运星转载请保留出处和链接！

本文链接：http://87cpy.com/289570.html