免费论文摘要：一种SQL-to-MapReduce优化器的接洽与实行

跟着Web2.0、应酬搜集以及电子商务的兴盛，那些运用背地的数据量也日益伸展，普遍效劳器构成的计划集群用来处置百般大数据运用。比方在产业范围的网页检索、引荐体例、天然谈话处置等；在科学研究范围的底栖生物搀杂领会、气象模仿猜测等。MapReduce是一种很好的散布式编制程序框架，具备并行化、编制程序精巧、程度扩充、高真实性等特性，加之具有宏大的开源实行Hadoop，为大数据的批处置供给了一个灵验的计划，Hadoop仍旧变成处置大数据运用的要害东西。运用中，接洽者们又在MapReduce的普通上开拓出了HiveQL、PigLatin等SQL作风的高层查问谈话，简单了运用者编写数据查问和领会步调。 常常，运用高层查问谈话编写的语句会由一个SQL-to-MapReduce变换器将天生一个包括MapReduce功课序列的实行安置，结果变换成一系列MapReduce功课，提交Hadoop集群上实行。但接洽者创造SQL-to-MapReduce变换器大概会天生很多低效以至不需要的功课，进而带来集群资源的滥用。每个MapReduce功课须要在功课安排、初始化、数据读写和传输、排序、序列化上奢侈洪量功夫，那些本钱远远胜过了Map和Reduce功课中对数据操纵的实行本钱。 正文对准该题目发展接洽，安排并实行了一个SQL-to-MapReduce优化器MRPacker。经过对MapReduce查问算子的典型和本质举行接洽和领会，给出了MapReduce功课的兼并准则，并实行了探求本钱最低实行安置的探求算法和优化算法；经过一个Hadoop功课领会模块，运用采集样品的本领获得与功课相关的动静参数，并给出了拉拢功课之间动静参数的联系，运用MapReduce本能模子预算拉拢功课的实行本钱，进而抉择出具备最低本钱的实行安置；经过对MapReduce查问算子天生的代码框架的接洽和领会，安排并实行了拉拢功课MapReduce代码的天生战略和处事过程，最后天生可在Hadoop集群上运转的高效MapReduce功课。结果正文经过试验对SQL-to-MapReduce优化器的本能目标举行了评测，试验截止表白优化器在某些场景下，天生的MapReduce功课的实行本钱和其余变换器如Hive和YSmart比拟获得了较大幅度的贬低。

来源：半壳优胜鲸鱼幸运星转载请保留出处和链接！

本文链接：http://87cpy.com/294779.html