免费论文摘要：某钱庄数据堆栈ETL进程的安排与实行

为了越发灵验运用现有体例中的洪量数据，巩固金融禁锢、遏制金融危害，Z钱庄恭请我公司为本来施“对公交易数据堆栈”名目。数据堆栈是一个动作计划扶助体例和联机领会运用数据源的构造化数据情况。从操纵型数据源索取数据到这个构造化数据情况的进程称为ETL处置。Z钱庄数据堆栈完全构造囊括前台体例和后盾体例两局部。个中的ETL数据处置进程是数据堆栈后盾体例的主体。咱们在总行树立一个集选取的数据堆栈，OLTP体例中的原始交易数据经过企业搜集从各分行传递到总行，在总行数据堆栈长机上过程ETL加工，而后载入数据堆栈及多维数据库。正文精细引见了数据堆栈ETL进程的安排与实行。对准需要领会中ETL数据抽取、变换、承载三个功效模块，咱们安排了三个阶段的ETL进程与之对应：第一阶段实行数据抽取功效，将原始数据经过DPR抽取到的“偶尔库”和“中央仓”中，实行缺点分隔和数据缓冲；第二阶段实行数据变换功效，实行ETL数据表变换，加工数据仓，天生数据市集；第三阶段实行数据承载功效，将究竟表和维度表承载到多维数据库中。实行ETL数据处置过程的安排后，进一步对ETL的主要控制模块和各阶段的功课安排过程的安排和实行举行了精细阐明。在实行数据堆栈ETL进程基础功效需要的普通上，指出了实行ETL进程须要处置的两个要害题目：一是ETL进程中的并行处置本领的安排与实行，我从分行级并行处置、数据表级并行处置、数据表里面并行处置和并行囊载多维数据库四个方面临各自的道理、运用本领、处事过程举行了阐明；另一个要害本领是按照ETL进程中的并前进程数和运转功夫的联系安排和实行的过程遏制模块。结果，正文给出体例的尝试论断，对所有体例的实行情景举行了归纳，并对将来的兴盛举行了预测。

来源：半壳优胜鲸鱼幸运星转载请保留出处和链接！

本文链接：http://87cpy.com/208399.html