免费论文摘要：鉴于ProtoBuf的洪量日记数据处置体例的安排与实行

近几年来，互联网络的兴盛速率蒸蒸日上，其爆发的消息量也越来越大，很多互联网络公司会沿用对日记数据举行领会来赢得个中包括的充分的用户动作消息，用以扶助公司对交易赶快做出计划。暂时日记领会正面对着新的挑拨，日记数据量宏大而且构造搀杂，而保守的单机处置的办法功效卑下，怎样高效的保存并领会一个巨型体例爆发的大数据量、异构的日记，将会对企业的兴盛带来要害感化。 对准日记数据处置的现有题目，本舆论接洽了ProtoBuf和Hadoop等本领，而且建立了一个满意大数据量领会交易须要的日记数据处置体例。运用ProtoBuf本领，对日记数据方法举行典型化，处置了文本日记数据领会搀杂和功效的题目；在日记处置的本领上，沿用集群的办法包办保守的单机处置的办法，运用鉴于Hadoop的数据堆栈平台Hive对日记数据举行离线查问和领会，普及了数据领会的功效，运用散布式文献体例HDFS来对洪量日记数据举行保存，体例的宁静性和可扩充性获得了提高；并对查问工作举行安排和处置，实行了负载平衡，使效劳器资源获得更好的运用，普及了查问功效。 本体例重要包括四个模块：日记方法处置模块、传输处置模块、查问模块、报表展现模块，在查问模块中还包括了准时安排、依附监察和控制、资源调配、工作实行这四个子模块，本舆论将对那些模块举行精细的安排与实行，结果经过功效和本能上面的测考查证本体例到达了用户的需要。

来源：半壳优胜鲸鱼幸运星转载请保留出处和链接！

本文链接：http://87cpy.com/292184.html