免费论文摘要：面向洪量文献处置的并行编制程序框架及运转库接洽与实行

多核多处置器期间的到来给表层软硬件提出了更高的诉求，表层运用软硬件须要更好运用底层硬件供给的并行性来提高完全功效。固然并行化战略如机动并行化本领、符合多核并行的编制程序模子、运转时维持和本能优化等本领被洪量沿用，然而并行化本领仍旧生存难以编写、难以调节和测试以及本能不决定等诸多题目，个中一个遏制成分即是那些保守的并行化本领越发提防本领的通用性，而近期兴盛的面向一定范围的并行化本领经过贬低通用性的诉求赢得了越发灵验的适用功效。 洪量文献处置的场景在实际中特殊多见，是探求引擎保卫世界和平大会数据关系处置的要害步骤，个中为了加快其处置常常运用并行化战略，然而这就使得本来即是瓶颈的I/O变成洪量文献处置加快的更大妨碍，此刻在单机上还没有特意用来优化洪量文献处置的并行框架，这就使得对洪量文献处置的并行编制程序框架的需要越发实际和急切。 正文的在领会洪量文献处置的特性、并行框架及I/O关系接口库、I/O优化战略等关系本领的普通上，提露面向多线程文献级预取本领和可感知I/O带宽并行度遏制本领，来提高表层运用的I/O功效和含糊量。 正文经过创造线程级的缓冲区来实行多线程前提下的预取本领，因为洪量文献的特性，预取的东西径直决定为一个完备的文献，这就简化了线程级预取的搀杂度。多线程预取本领较大的普及了洪量文献的并行读写功效，为进一步优化洪量文献的处置奠定了普通。其余并路途序对立于串路途序具备更大的本能不决定性，个中一个因为是多核中运转的运用的并行度很难径直和体例处置本领相配合，盲目减少并行都大概相反因为资源的比赛贬低本能、减少功耗。所以对准洪量文献处置的场景，正文就以运用的及时I/O功效动作参考，创造运用并行度的反应安排体制，动静连接优化运用的含糊率，这对于洪量文献处置而言有较大意旨。 结果正文按照上述接洽功效安排实行了面向洪量文献处置的单机多核多处置体例上的并行编制程序框架及运转库，并举行了关系的试验和本能评介。

来源：半壳优胜鲸鱼幸运星转载请保留出处和链接！

本文链接：http://87cpy.com/294882.html