云彩店邀请码|半壳|优胜
跟着互联网络的高速兴盛,企业自己对消息框架结构、处置、颁布的需要,以及用户对消息的构造、查问、可寻性的诉求越来越高,并且保守的鉴于单机体例的集选取消息检索本领已没辙满意以大范围数据集为普通的并发多用户并行消息检索的需要,怎样供给对准性和精确性更高,检索赶快,安定宁静,本能高效的探求,变成探求平台面对的第一次全国代表大会困难。 本课题对具备索引和检索功效的开源框架Lucene举行接洽,而且贯串要被索引的数据源举行领会,提出对索引库举行水宽厚笔直共同拆分的安排,并对中心功效索引和检索举行算法优化,实行RAM与FS共同散布式并行索引和散布式并行检索。为了更好更安定地举行并行处置,辨别在索引模块,接受ThreadPoolExecutor类并列写该类的结构本领和executor本领,按功效需要安排一个索引线程池处置类WriteThreadPool,用来安排索引工作;在检索模块,引入ExecuteService类做线程池处置,运用有归来截止的Callable类做检索工作,Callable经过Future类来获得工作安排的截止。为了减小对索引库的读写压力,对索引库建主从库举行读写辨别,还精巧地运用Lucene索引表的本子号贯串主从库革新日记来实行主从库及时同步,进而实行及时探求。 本课题以一家视频公司的视频消息为接洽东西,该视频消息以文本情势保存在视频表,动作数据源,鉴于Lucene开源框架对数据源举行索引产生索引库,灵验贯串散布式框架结构,运用ZooKeeper做散布式监察和控制器,实行一个散布式文本(视频消息)及时探求平台。这个探求平台的目的是让视频探求更高效,更精巧,更轻快,更透彻,让用户更轻快地运用视频效劳,进而普及本视频公司在所有行行业内部的比赛上风。
来源:半壳优胜鲸鱼幸运星转载请保留出处和链接!
本文链接:http://87cpy.com/294506.html
本站部分内容来源网络如有侵权请联系删除