论文摘要：广域环境下海量科学数据放置关键技术研究

摘    要

随着互联网技术的发展，跨国、广域分布环境下的数据密集型科研协作正在成为科研国际合作的一种重要模式。在这些数据密集型科研应用中，海量科学数据需要为分布于世界范围内不同研究机构的科研人员所共享。为了支持科研人员有效开展科学研究，许多情况下，需要将海量数据放置到不同的地方，支持科研人员在本地或远程资源上开展分析工作，以提高科研应用的性能和效率。

数据副本技术是数据密集型科研应用中的重要组成部分。合理的数据副本放置不仅可以增强广域环境下数据的可靠性，提高数据的可访问性，减少网络吞吐量，还可以增强数据存储系统的负载均衡性。

本文主要对广域分布环境下数据副本放置中的副本替换策略、副本的布局策略以及副本放置位置的选择策略等方面进行研究。主要包括以下两个方面的工作：

（1）基于副本成本预测的副本替换策略。本文通过分析背景项目的需求，提出基于成本预测的副本替换策略，然后对网络模拟器Optorsim进行拓展，实现了基于成本预测的副本替换策略，并将其性能与传统副本替换策略进行全面的比较。

（2）基于性能感知的时空相关数据副本管理策略。针对时空相关数据的特性，科研人员在做研究时，会跨学科的进行数据访问，对给定时空相关系数的这些数据进行合理的先期布局能有效提高科研效率，降低网络开销；由于数据节点的资源是有限的，能提供的并发访问量也是有限的，所以在副本放置位置的选择上优先选取整体性能比较好的节点，使得新副本有较大概率接受服务请求。另外根据数据访问频率对数据类型加以区分，对不同类型数据的副本数进行弹性控制。基于以上的相关工作，对Hadoop进行了拓展和改进，实现了分布式存储系统Hardington，并在其上进行了相关性能的测试和比较分析。

 

关键词：副本布局，性能评估，弹性副本管理，副本替换

 

来源：半壳优胜鲸鱼幸运星转载请保留出处和链接！

本文链接：http://87cpy.com/279735.html