Sistemas de Apoio Inteligncia do Negcio

http://www.uniriotec.br/~tanaka/SAIN tanaka@uniriotec.br

Asterio K. Tanaka

Arquitetura de Data Warehouse

Asterio K. Tanaka

De ini!"o de Data Warehouse

A Data Warehouse is a subject-oriented, integrated, time-variant, non-volatile collection of data in support of managements decision-making process. W. !nmon"

Asterio K. Tanaka

Arquitetura #en$rica de u% Data Warehouse

+eta Dados ('NT)S D) DAD'S (),,A+)NTAS D) -'NS./TA

'/A4 An01ise Data Warehouse Data +inin2 ,e1at3rios

&Ds 'peracionais

)*tra!"o Trans or%a!"o -ar2a Atua1i5a!"o

(ontes )*ternas

Data +arts

'/A4

Chaudhri&Dayal, SIGMOD RECORD 1997

Asterio K. Tanaka

-orporate In or%ation (actor6 de In%on

Data Mart DSS Applications
&"M e&ommerce E"#

EDW E"# I/t ODS Near ine/ Secondar! Storage

Exploration Warehouse

$e%site

Data Mining Warehouse

http://www.inm n!i".! m/li#rary/!i"/

Asterio K. Tanaka

' 'DS de In%on

EDW A##
E"#

ODS DSS

The ODS serves to integrate legacy applications and to provide a basis for operational (tactical) DSS processing

$h% Op%rati nal Data St r% &ODS' i( a hy#rid (tru!tur% that ha( !hara!t%ri(ti!( " # th th% data war%h u(% and p%rati nal (y(t%m(. )%!au(% th% ODS i( a hy#rid (tru!tur%, it i( di""i!ult t #uild and p%rat%. $h% ODS all w( th% u(%r t ha*%: + O,$- r%(p n(% tim% &.// (%! nd(' + updat% !apa#iliti%( + DSS !apa#iliti%(
Asterio K. Tanaka

'DS 7 introdu5ido por In%on

Building the Operational Data Store, 4. 5. Inm n, Claudia Imh "" and Gr%2 )atta(, 6 hn 4il%y & S n(, 1997 http://www.dmr%*i%w.! m/arti!l%8(u#.!"m9arti!l%Id:;79 &6uly 199<'

The Operational Data Store (ODS) i( a (u#0%!t1 ri%nt%d, int%2rat%d, !urr%nt, * latil% ! ll%!ti n " data u(%d t (upp rt th% tactical decision-making pr !%(( " r th% %nt%rpri(%. It i( th% !%ntral p int " data int%2rati n " r #u(in%(( mana2%m%nt, d%li*%rin2 a ! mm n *i%w " %nt%rpri(% data.
$h% %((%n!% " an ODS i( th% %na#l%m%nt " int%2rat%d, ! ll%!ti*% n1lin% pr !%((in2. 3n ODS d%li*%r( ! n(i(t%nt hi2h tran(a!ti n p%r" rman!%11tw t thr%% (%! nd(. 3n ODS (upp rt( n1lin% updat%. 3n ODS i( int%2rat%d a!r (( many appli!ati n(. 3n ODS pr *id%( a " undati n " r ! ll%!ti*%, up1t 1 th%1(%! nd *i%w( " th% %nt%rpri(%. 3nd, at th% (am% tim%, th% ODS (upp rt( d%!i(i n (upp rt pr !%((in2.
Asterio K. Tanaka

Data Ware8ouse se2undo Ki%ba11

Ralph =im#all, Mar2y R ((: $h% Data 4ar%h u(% $

l>it, .a Edi?@ , 4il%y, .AA.

Asterio K. Tanaka

Se2undo Ki%ba11 DW 9 con:unto de Data +arts Inte2rados; co% (atos e Di%ens<es -on or%ados
We t!picall! re'er to the presentation area as a series o' integrated data marts( A data mart is a $edge o' the o)erall presentation area pie( In its most simplistic 'orm* a data mart presents the data 'rom a single %usiness process( +hese %usiness processes cross the %oundaries o' organi,ational 'unctions( We ha)e se)eral strong opinions a%out the presentation area( -irst o' all* $e insist that the data %e presented* stored* and accessed in dimensional schemas( -ortunatel!* the industr! has matured to the point $here $e.re no longer de%ating this mandate( +he industr! has concluded that dimensional modeling is the most )ia%le techni/ue 'or deli)ering data to data $arehouse users(
Asterio K. Tanaka

Arquitetura de Data Warehouse de Ki%ba11

D4 : Op%rati nal Data St r% B Data Mart( Int%2rad ( Data +arts Inte2rados Marketing Vendas
Sistemas Operativos
Integrao & Transformao

ODS

Finanas Produo

8ist3rico =n"o te%por0rio> A1to n?@e1 de deta1he

R.H. ...
Asterio K. Tanaka

'DS 7 In%on b6 Ki%ba11

$h% ri2inal ODS ar!hit%!tur% n%!%((itat%d tw pathway( and tw (y(t%m( #%!au(% th% main data war%h u(% wa(nCt pr%par%d t (t r% l w1l%*%l tran(a!ti n(. http://www.d#m(ma2.! m/971.dAD.html &D%!%m#%r 1997'
Asterio K. Tanaka

'DS 7 Ki%ba11

,%t u( r%d%"in% th% ODS a( " ll w(. $h% ODS i( a (u#0%!t1 ri%nt%d, int%2rat%d, "r%Eu%ntly au2m%nt%d (t r% " d%tail%d data in th% %nt%rpri(% data war%h u(%. $h% n%w ODS r%ality. $h% !l%anin2 and l adin2 pathway n%%d( nly t #% a (in2l% (y(t%m #%!au(% w% ar% n w pr%par%d t #uild ur data war%h u(% n th% " undati n " indi*idual tran(a!ti n(. http://www.d#m(ma2.! m/971.dAD.html &D%!%m#%r 1997'
Asterio K. Tanaka

Data +arts de I%non

Data Mart O A# Multidimensional

sa1es inance

%arketin2

Estruturas Star ou Sno$'la3e

EDW

-ara Inm n, Data Mart( (@ d%pF(it ( (%!undGri ( d%ri*ad ( d Data 4ar%h u(%.
Asterio K. Tanaka
rtm012

'nde In%on e Ki%ba11 concorda%

4 A necess0ria u%a arquitetura 4 Di%ens<es co%parti1hadas e %edidas de inidas atra@$s de todas as 0reas da e%presa 4 ' esque%a estre1a $ Bti1 para apresentar in or%a!<es aos usu0rios 4 -onstruir o DW iterati@a%ente =%es%o que pro:etado 21oba1%ente> 4 +etadado $ unda%enta1

4 -ada u% acredita=@a> estar certo e o outro erradoC

Asterio K. Tanaka

'nde e1es discorda% =ou discorda@a%>

4 A12uns pontos da arquitetura ='DS; )DW; Data +arts> 4 Dua1 %ode1a2e% usar e onde
5 ), / ,e1aciona1 =nor%a1i5ado> 5 Star Sche%a/+ode1a2e% Di%ensiona1

4 ' pape1 dos Data +arts 4 Aborda2e% de pro:eto e constru!"o do DW

Asterio K. Tanaka

-o%ponentes da Arquitetura
:ill Inmon
4 &amada de +rans'orma78o/Integra78o 4 Data $arehouse corporati)o 4 ODS corrente 4 Data Mart 4 Exploration DW 4 Metadado 4 4 4 4 4 4

"alph 6im%all
Data staging area &ole78o de DM.s 9 DW ODS histrico Data Mart 5 papel di'erente Dados ar/ui)ados Metadado

Asterio K. Tanaka

DW e o pape1 da %ode1a2e% )/,

:ill Inmon a'irma
4 E" Model is suita%le 'or data $arehouses %ecause it is sta%le* and supports consistenc! and 'lexi%ilit! 4 Normalised data is ideal %asis 'or the design o' the Data Warehouse and the ODS 4 Ma! not %e suita%le 'or the data mart* $hich deals hea)il! $ith regular /uer! acti)it! and time;)ariant anal!sis
4 4

,a1ph Ki%ba11 a ir%a:

E" Models are too complicated 'or end users to understand E" Modeling/normalising onl! suita%le 'or O +# or in data staging area since it eliminates redundanc! "esults in too man! ta%les to %e eas! to /uer! E" models are optimised 'or update acti)it! not high per'ormance /uer!ing

4 4

Asterio K. Tanaka

+ode1a2e% Di%ensiona1 e Star Sche%a

:ill Inmon a'irma<
4

"alph 6im%all a'irma<

4 Dimensional Modeling is the onl! )ia%le techni/ue 'or designing data%ases in the Data Warehouse en)ironment %ecause it pro)ides a predicta%le 'rame$or3 E)en lo$est le)el granular data should %e in dimensional 'ormat E)er! E" model has an e/ui)alent dimensional model representation An! t!pe o' %usiness data can %e represented as a =cu%e>

Dimensional Modeling is reasona%le )ia%le techni/ue 'or designing data marts* $hen t!pe o' access is )er! predicta%le Dimensional models are not suita%le 'or updating at all Di''ering %usiness areas $ill li3el! $ant a di''erent dimensional model to loo3 at similar data Series o' dimensional models are not 'lexi%le enough to support an enterprise.s entire Data Warehouse

4 4 4

Asterio K. Tanaka

+ode1o )ntidades ,e1aciona%entos

1 H(ad para pr 0%t d% )D r%la!i nal 1 I rmaliJad %m $%r!%ira K rma I rmal 1 3d%Euad para apli!a?L%( p%ra!i nai( &O,$-'
Asterio K. Tanaka

)sque%a )stre1a de DW EWeF8

4h%n 4h%r%

4hat

5 w many 5 w mu!h

4hy

4h

5 w

Asterio K. Tanaka

+ode1o Di%ensiona1 =)sque%a )stre1a>

1 H(ad para pr 0%t d% D4/DM 1 Em 2%ral d%(n rmaliJad 1 3d%Euad para apli!a?L%( analMti!a( &O,3-'
Asterio K. Tanaka

-o%para!"o entre +ode1os

4 +ode1o ),/,e1aciona1
5 +ais co%p1e*o 5 Anos GH 7 &D re1aciona1 5 Tabe1as representa% con:untos de entidades e re1aciona%entos 5 Tabe1as resu1tantes natura1%ente nor%a1i5adas =at$ Fa (or%a Nor%a1> 5 Tabe1as acessadas indistinta%ente de i1tro inicia1 5 +aior necessidade e di icu1dade de :un!"o 5 +aior di icu1dade de 1eitura e de consu1ta por usu0rio n"o especia1i5ado

4 +ode1o Di%ensiona1
5 )strutura %ais 0ci1 e intuiti@a 5 Anterior ao ),; recriada por Ki%ba11 5 Tabe1as representa% (atos e Di%ens<es 5 Tabe1as (ato nor%a1i5adas; Tabe1as Di%ens"o pode% n"o ser nor%a1i5adas 5 Tabe1as Di%ens"o s"o pontos de entrada para acesso 5 Iun!<es s3 ocorre% entre Tabe1as (ato e Di%ens<es 5 /eitura e consu1ta %ais 0ceis para usu0rios n"o especia1i5ados
Asterio K. Tanaka

4ape1 do Data +art

:ill Inmon a'irma<
4 4 4 4 4 =Data marts should %e populated %! the data $arehouse and external data onl! &an contain su%sets* aggregated data or atomic data #ro)ide a departmental )ie$ o' the $orld Ma! or ma! not reside on a di''erent plat'orm 'rom DW #ro)ide 'or repeata%le* predicta%le t!pes o' in'ormation deli)er!> 4 4 4

"alph 6im%all a'irma<

=Successi)e data marts %uilt on a ?star schema model? together 'orm a data $arehouse +he %ad pu%licit! a%out data marts comes 'rom implementation o' isolated sto)epipe data marts done %adl!* and not con'orming dimensions and measures Data Marts can %e atomic %ut should still %e in dimensional )ie$ 'ormat> In its most simplistic 'orm* a data mart presents the data 'rom a single %usiness process(

Asterio K. Tanaka

Aborda2ens de pro:eto de DW
4 In%on: Top Down 5 Data Warehouses &orporati)os
@ de grande a%rangncia @ complexos @ alta pro%a%i%lidade de insucesso

Ki%ba11: &otto% .p ou +idd1e 'ut 5 Data Marts Setoriais

@ @ @ @ @ @ Mar3eting* -inanceiro* Admnistrati)o* etc( #roAetos e)oluti)os En'o/ue inicial nos aspectos mais crBticos Apro)eitamento da estrutura operacional disponB)el "etorno mais rCpido AcDmulo de experincia < menor risco e menor custo
Asterio K. Tanaka

'nde In%on J uncionaK

4 #randes or2ani5a!<es co% %uitas unidades de ne23cio di erentes que precisa% co%parti1har in or%a!<es 4 +u1tip1os SSDLs uti1i5ados; e inconsistMncia entre e1es $ sentida. 4 +ode1a2e% tradiciona1 $ u%a pr0tica e $ be% co%preendida

'nde In%on J a1haK

4 4ouca aten!"o a deta1hes de %ode1a2e% 4 N"o en ati5a i%portNncia de di%ens<es co%parti1hadas e %edidas uni or%es
Asterio K. Tanaka

'nde Ki%ba11 Jd0 certoK

4 4equenas or2ani5a!<es ; capacidade de %edida pre@is?@e1 4 /u2ares %ais est0@eis
5 Di%ens<es e %edidas s"o be% conhecidas e n"o %uda% co% requMncia 5 'nde 2r"o pequeno n"o 2era Terab6tes

'nde o Ki%ba11 J a1haK

4 Se esco1her a 2ranu1aridade errada da pri%eira @e5 ... 4 Se sur2ir u%a no@a %aneira de o1har o ne23cio; pode custar u% outro pro:eto 4 Assu%e que usu0rios n"o conse2ue% 1idar co% u% snowO 1ake =Terceira or%a nor%a1>
Asterio K. Tanaka

-on@er2Mncia de Aborda2ens
JWh6 notP.
5 4a6 strict attention to con or%in2 di%ensions and %easures across the business 5 A1so %ode1 hierarchies ear16 in piece 5 8a@e a per%anent sta2in2 area =Frd nor%a1 or%> and na%e it an ato%ic data warehouse 5 (eed di%ensiona1 data %arts ro% this DW/Sta2in2 area 5 &ui1d data %arts or depart%ents 2oin2 throu2h sta2in2 areaK

Asterio K. Tanaka

-o%ponentes 4otenciais do A%biente de DW

Q. ,eposit3rio de +etadados R. (erra%entas de 4ro:eto -AS) F. (erra%entas de )*tra!"o; Trans or%a!"o e -ar2a =)T/> S. (erra%entas para Dua1idade e /i%pe5a E. (erra%entas para ,ep1ica!"o T. 4ro@edores de Inter aces de &D 'D&-/'/) G. (erra%entas de #atewa6 para &D /e2ados U. &ancos de Dados ,e1acionais V. =&ancos de Dados N"oO,e1acionais /e2ados> QH. &ancos de Dados +u1tidi%ensionais QQ. (erra%entas '/A4 QR. (erra%entas de ,e1at3rio e -onsu1ta QF. (erra%entas de Data +inin2 QS. (erra%entas de +onitora%ento e -ontro1e QE. 4acotes de Ap1ica!"o para Data Warehouse
Asterio K. Tanaka

Todos estes co%ponentes %anipu1a%/2era% %etadados

Transporte de Dados =Data Sta2in2>

4 )*tra!"o
5 -o1eta de dados nos siste%as e*istentes 5 'pera!"o de%orada e co%p1e*a 5 +uitas @e5es; desen@o1@i%ento adOhoc

4 Trans or%a!"o
5 (unda%enta1 para c1are5a e inte2ra!"o 5 ,ecodi ica!"o de cate2orias: =%/ ; %a1e/ e%a1e to +/(> 5 A1tera!<es e uni or%i5a!"o de unidades de %edida; no%es de ca%pos; datasP

4 /i%pe5a
5 (unda%enta1 para qua1idade da in or%a!"o e*tra?da

4 -ar2a e ,ea1i%enta!"o
5 TradeOo =%uito requente $ caro; pouco si2ni ica dados J@e1hosK>

Asterio K. Tanaka

(erra%entas de )T/
D%*%1(% ! n(id%rar Nd%(%n* l*%r *%r(u( ! mprarO: ini!ialm%nt%, muita( %mpr%(a( %(!r%*%nd (%u( prFpri ( pr 2rama(P -r dut ( in!lu%m 2%rad r%( d% !Fdi2 u Ntran(" rmad r%( pr pri%tGri (OP Muita( "%rram%nta( (@ * ltada( para Gr%a( %(p%!M"i!a(, %m# ra ! m "un!i nalidad%( %m ! mumP 3 mai ria d ( pr dut ( Q r%lati*am%nt% imatura, %m# ra t%nham m%lh rad muit n ( Rltim ( an (P 3( "%rram%nta( (@ 2%ralm%nt% muit !ara(, %m# ra um n * m d%l d% pr%? ( %(t%0a (ur2ind P E(ta( "%rram%nta( (@ mai( ad%Euada( para am#i%nt%( ! mpl%S ( &mRltipla( " nt%( % d%(tin (, muita( tran(" rma?L%(, muita limp%Ja n%!%((Gria(', d%(d% Eu% a( tran(" rma?L%( n@ (%0am muit ! mpli!ada(.

Asterio K. Tanaka

Dados; +etadados; +etaO%etadados

4 Dado $ u%a descri!"o de a12u%a JcoisaK. 4 +etadado $ u% tipo de dado e% que a JcoisaK sendo descrita $ u% dado. 4 J+etaOK
5 signi'ica =algo /ue descre)e (((>

4 J+etaO+etaOK
5 signi'ica =algo /ue descre)e algo /ue descre)e(((>

4 +etadados
5 =dados so%re os dados> 5 /uais/uer in'orma7Ees /ue permitam identi'icar* locali,ar* utili,ar e entender os dados 5 FMetadata is structured* encoded data that descri%e characteristics o' in'ormation;%earing entities to aid in the identi'ication* disco)er!* assessment* and management o' the descri%ed entities(F GAmerican i%rar! Association* +as3 -orce on Metadata Summar! "eport(* Hune 1IIIJ
Asterio K. Tanaka

Dado e +etadado: onde est0 a ronteiraW

Km exemplo para re'lex8o< Tal r d% a?L%(
C mpanhia 3n Tal r UU 199D .A UU 1997 /A VV 199D 1A W.

Tal r d% a?L%(
C mpanhia 199D 1997 1997 199< UU VV W. .A 1A /A 1D .7 < ;A ./

Tal r d% a?L%( 199D

C mpanhia Tal r UU .A VV 1A W.

Tal r d% a?L%( 1997

C mpanhia Tal r UU /A VV 1D W.

...

Asterio K. Tanaka

#erMncia de +etadados
4 #rande desa io na constru!"o e %anuten!"o de u% DW
5 5 5 5 5 5 5 (or%atos de dados inconsistentes Dados ine*istentes ou in@01idos Di erentes n?@eis de a2re2a!"o InconsistMncias se%Nnticas Dua1idade de dados e :ane1a de te%po Acesso 21oba1 =distribu?do e rep1icado> Ad%inistra!"o e contro1e

4 Inte2ra!"o do DW co% outras erra%entas au%enta o prob1e%a

Asterio K. Tanaka

Di erentes tipos de %etadados

4 +etadado T$cnico e Ad%inistrati@o
5 a1ta%ente estruturado 5 in or%a!<es co% de ini!<es; trans or%a!<es; 2erMncia e opera!"o 5 2era1%ente trat0@e1 @ia u%a erra%enta de reposit3rio

+etadado de Ne23cio
5 tanto n"oOestruturado quanto estruturado 5 %ais di ?ci1 de ser tratado e inte2rado por u%a erra%enta a1ta%ente estruturada tipo u% reposit3rio

4 +etadados e% &I
5 +etadados para )T/ 7 )*tra!"o; Trans or%a!"o e -ar2a de siste%as '/T4 5 +etadados de '/A4: descri!<es de cubos; di%ens<es; %edidas; hierarquias; n?@eis 5 +etadados de erra%entas ront end: r3tu1os de te1as e re1at3rios 5 +etadados de Data +inin2: descri!<es de a12orit%os; consu1tas; resu1tados
Asterio K. Tanaka

I%portNncia de u% ,eposit3rio
5 ,eposit3rio @ 'erramentas /ue pro)em arma,enamento e 'uncionalidade de gerncia e acesso a metadados 5 Xis"o 21oba1 e inte2rada de %etadados 5 #erencia%ento do cic1o de @ida dos %etadados 5 Inte2ra!"o co% erra%entas de outros ornecedores

Asterio K. Tanaka

,eposit3rio 9 Dep3sito #en$rico de +etadados

4 .% &D de in or%a!<es sobre arte atos criados; 21oba1 atra@$s de erra%entas.

!" Diagram
- usto%er 'rder 4rod uct Sched u1ed De1i@er6 Sa1esp erso n

,orms

Spec

# siness " les

!mp%Sal & !mp%'gr%Sal

# siness $rocess
Kpdate Mar3eting Authori,e &redit Order Entr! :ill &ustomer Schedule Deli)er! In)entor!

Architect re

Ta(le Defns +# )ode

)** )ode

Asterio K. Tanaka

+eta%ode1os
4 ,eposit3rios s"o desen@o1@idos sobre +eta%ode1os; isto $; %etadados de %ode1os. 4 .% %ode1o de@e estar con or%e co% u% %eta%ode1o. 4 -a%adas de %eta%ode1os; se2undo o '+# ='b:ect +ana2e%ent #roup>:
5 +H: ob:eto instNncia; 1inha de tabe1a; re2istro =e*: JIo"o da Si1@a e seus dadosK> 5 +Q: %ode1o; esque%a =e*: c1asse .+/ ou tabe1a de banco de dados J-1ienteK> 5 +R: %eta%ode1o =e*: .ni ied +ode1in2 /an2ua2e O .+/; -o%%on Warehouse +eta%ode1 O -W+; Know1ed2e Disco@er6 +eta%ode1 7 KD+> 5 +F: %etaO%eta%ode1o =e*: +etaO'b:ect (aci1it6 O +'(>

Asterio K. Tanaka