9/25/00

1
Curso de Sistemas de Telecomunicaes
Data Warehouse
Data Mining
Geraldo Robson. Mateus
Departamento de Cincia da Computao
Universidade Federal de Minas Gerais
Belo Horizonte - MG
Curso de Sistemas de Telecomunicaes
O que Data Warehouse?
Um Data Warehouse um conjunto de dados baseado em
assuntos, integrado, no voltil, e varivel em relao ao
tempo, de apoio s decises gerenciais.
William Immon - 1992
Curso de Sistemas de Telecomunicaes
Data Warehouse e
Banco de Dados Operacional
OLAP (On-line Analytical Procesing)
- Consultas dinmicas - Dimenses
Dados histricos - exibem tendncia
de comportamento
Dados integrados
Nmero Reduzido de Transaes
(1/dia, 1/semana)
Grande nmero de registros
Usurio: gerentes e executivos para
tomada de decises. Mas no h um
padro.
Analisa os dados
I OLTP (On-line Transaction
Processing) - Consultas SQL
prontas - Tabelas
I Dados operacionais
IDados dispersos
I Grande nmero de Transaes
(frequentemente atualizado)
I Nmero de registros varivel
I Usurio: profissional operacional
da empresa e est preocupado em
executar as operaes de modo
eficiente, e no como elas ocorrem
I Entrada de dados (armazenar)
Curso de Sistemas de Telecomunicaes
O que Data Warehousing?
Data Warehousing no um produto, e sim uma estratgia
que reconhece a necessidade de armazenar dados,
separadamente, em sistemas de informao e consolid-los,
de forma a assistir diversos profissionais de uma empresa na
tomada de decises de modo rpido e eficaz.
Curso de Sistemas de Telecomunicaes
Por que Data Warehousing?
A informao o bem mais valioso para uma empresa;
Decises precisam ser tomadas rapidamente e corretamente,
usando todo dado disponvel;
Usurios so experts em negcios, e no profissionais em
tecnologia;
A quantidade de dados est dobrando a cada 18 meses, o que afeta
o tempo de resposta e a habilidade de compreender seu contedo;
Estratgias de competio - diferencial positivo em relao a
concorrncia;
Anlise do perfil do mercado;
Curso de Sistemas de Telecomunicaes
Tipos de Data Warehouse
Marketing - Avalia a performance comercial de um produto ou
servio a partir de diversas perspectivas diferentes
Financeiro - Monitoram a performance comercial em termos
financeiros
Comportamental - Contm informaes individuais a respeito de
cada cliente e seus comportamentos.
9/25/00
2
Curso de Sistemas de Telecomunicaes
Data Warehouse Incremental
Abordagens de implementao de DW (Top-Down e Up);
Projeto de impacto:
Projetos envolvem compromisso, recursos financeiros e pessoal,
sujeitos a variaes. (Tempo, oramento, etc)
Custos envolvidos aumentam a presso por resultados, recomenda-se
iniciar um projeto-piloto de escopo e propores reduzidos, mas com
retorno considervel;
Criao de Data Marts Integrados (Data Marts extraem e ajustam pores de DWs
aos requisitos especficos de grupos/departamentos) disponibilizados em prazos e
custos menores, mais gerencivel.
Curso de Sistemas de Telecomunicaes
Arquitetura de um Data
Warehouse
Aquisio da Informao: Esta camada responsvel por reunir,
refinar, limpar e agregar o dados dos sistemas de produo. O dado
deve estar correto e prover um nico significado para facilitar na
tomada de deciso.
Armazenamento da Informao: Esta camada prov o armazm da
informao.
Disponibilizao da Informao: Esta camada parte da arquitetura
que suportar um conjunto de ferramentas de apresentao e anlise.
(Relatrios e consultas)
Curso de Sistemas de Telecomunicaes
Arquitetura de um Data Warehouse (DW)
DW
Reunir
Refinar
Agregar
Armazenar
Camada de Aquisio da Informao
Camada de Armazenamento da Informao
Montagem
Camada de Entrega da Informao
DM DM
LAN
Gerente de Crdito
Gerente de Produto
Dados Operacionais
Acesso e Anlise
Fontes de Dados Externos
ERP
Data Marts extraem e
ajustam pores de DWs
aos requisitos especficos
de grupos/departamentos
O DW formado por fontes de
dados internas (dados resultantes
das transaes dirias das
atividades de negcio ) e externas
(indicadores econmicos de uma
regio, dados demogrficos, dados
sobre o desempenho dos
concorrentes e o perfil dos clientes
potenciais)
Curso de Sistemas de Telecomunicaes
DM DM
DW
DM
Consultas
Relatrios
Anlise
Multidimensional
OLAP
Data Mining
OLAP - On Line Analytical Processing
Suportam anlise sofisticada, atendem a um nmero de dimenses
elevado e possibilitam a anlise do negcio a partir de grandes conjuntos de dados
Data Mart - So
subconjuntos
departamentais focados
em assuntos selecionados.
G
e
o
g
r
a
f
ia
Produto
Tempo
Todas as vendas
realizadas, em cada
regio geogrfica para
cada tipo de produto
Curso de Sistemas de Telecomunicaes
O que DW para Intranet?
Combinao de tecnologias que permite que
seus usurios gerem dinamicamente uma pesquisa
no banco de dados, analisando e formatando os
resultados na forma de arquivos texto ou imagem.
Curso de Sistemas de Telecomunicaes
Por que DW para Intranet?
Melhora a capacidade de comunicao e
colaborao dentro da empresa;
Atinge um nmero grande de usurios sem
conhecimentos tcnicos.
9/25/00
3
Curso de Sistemas de Telecomunicaes
O que Data Mining?
Minerao dos dados : usa complexas pesquisas em
grandes volumes de dados para explorar e identificar
relacionamentos entre variveis que antes eram
previamente independentes. Isso permite que as
organizaes gerenciem relacionamentos de causa e
efeito mais eficientemente, e antecipem polticas para
isso.
Curso de Sistemas de Telecomunicaes
Diferenas entre DM e OLAP
Data Mining
Mtodo alternativo (trabalha
contra todos os dados de um
grupo) e automtico (estuda
o dados e apresenta o
achado) para descobrir
padres nos dados.
Questo desconhecida e a
ferramenta utilizada para
busca de conhecimentos.
OLAP
Trabalha com alguns dados
e tem que perfurar (drill-
down) em busca de
detalhes. Explorados
manualmente.
Explorao atravs da
verificao - o analista
elabora uma hiptese para
confirm-la ou refut-la.
Curso de Sistemas de Telecomunicaes
Como implementar um Data
Mining
Algoritmos baseados em redes neurais, estatsticas ou
algoritmos de aprendizado, capazes de explorar
gigantescas bases de dados em busca de informaes que
ajudam as empresas a decifrar o comportamento do
consumidor, a compra de suprimentos, administrar as
reas comerciais e financeira de forma transparente.
Ferramentas capazes de aprender a partir dos dados,
gerando e validando enormes volumes de hipteses e
destacando conhecimento interessante para o usurio,
descobrindo conhecimento novo, til e interessante.
Curso de Sistemas de Telecomunicaes
Aplicaes de Data Mining
Cross-selling: Identificar associao entre produtos,
procurando tirar proveito dessas associaes.
Up-selling: Identificar entre os clientes atuais aqueles
que tem potencial para adquirir produtos que
proporcionem maior lucro para a companhia. Em um
servio de TV por assinatura, por exemplo, uma forma
de realizar up-selling seria identificar o perfil dos
compradores de Pay-Per-View e utilizar este perfil para
dirigir uma campanha aos clientes que tem as mesmas
caractersticas, mas ainda no compram este produto;
Curso de Sistemas de Telecomunicaes
Fidelizao: Descobrir o perfil, situao e
combinao de fatores que esto relacionados com
a perda de clientes, para que se trabalhe estes
clientes e mantenha o relacionamento, dentro da
filosofia de que manter um cliente conquistado
mais barato que conquistar novos clientes.
Aplicaes de Data Mining
Curso de Sistemas de Telecomunicaes
Algumas barreiras do uso de
DM
Altos custos;
Complexidade de ferramentas;
Preparao dos dados para minerao (80% do
trabalho). Os dados devem estar limpos, consistentes e
livres de excessivas nulidades;
Dificuldade em se estimar a taxa de retorno do
investimento. Uma vez que o objetivo do DM descobrir
tendncias em dados invisveis de outra maneira, torna-se
impossvel estimar a partir de algo desconhecido.
9/25/00
4
Curso de Sistemas de Telecomunicaes
Um projeto de Data Warehouse nunca
termina! As fontes de dados mudam, as
necessidades dos usurios tambm mudam,
o nmero deles aumenta, as regras de
mercado se alteram, os usurios demandaro
mais informaes. Enfim, data warehousing
no um destino; uma viagem.
Curso de Sistemas de Telecomunicaes
Bibliografia
Data Warehouse - Conceitos e Solues
Adelize Generini de Oliveira
Data Mining - A hands-on approach for bussiness professionals
Robert Groth
Data Warehouse Intranet
Internet
http://www.datawarehouse.inf.br/