论文摘要：基于FlumeNG的海量数据收集系统的设计与实现

随着公司规模的扩大和业务的不断扩展，在我们的系统中存在着大量的数据，包括个人数据和工业数据，我们要对这些数据进行分析处理，以获取更多有价值的信息。但是在分析这些数据之前，如何实时的获得这部分数据就变得很重要。所以如何把这大量的数据实时的收集到我们自己想要传到的服务器上或者传到分布式文件系统中去，都对我们都提出了巨大的技术挑战。

目前在整个集群中部署的是FlumeNG。FlumeNG是apache基金会专门为传输大量数据而开发的一个项目。FlumeNG是一个高可用，高可靠，分布式海量日志采集、聚合和传输的系统。需要强调的是，FlumeNG起步比较晚，因此代码更新的非常快，相关的插件也一直都在完善。

鉴于FlumeNG代码更新很快，很多东西还需要完善，结合公司目前的相关业务，现在主要从以下几个关键问题展开研究：研究在系统中如何监控到lxc目录的变化，由于lxc容器的多变性，造成lxc容器会经常创建与卸载，因此，监控到这些变化并做到实时反映很重要；研究如何实时地对多个文件同时传输，即实时做到数据传输到Sink端，主要是后续的Storm对数据的实时性要求较严格；研究Channel端在实时性和可靠性之间寻求一个平衡，更好地让数据能够实时、可靠地到达存储系统。

当前，Apache给的FlumeNG版本中，并没有上面所介绍的这些功能，需要我们自己来根据公司的业务要求实现这些功能。鉴于公司后台数据越来越多，能够在FlumeNG中加入这些功能就显得尤为重要。因此，此系统的研发还是很有研究价值以及实际意义。

来源：半壳优胜鲸鱼幸运星转载请保留出处和链接！

本文链接：http://87cpy.com/291931.html