9/25/00

Data Warehouse Data Mining

Geraldo Robson. Mateus
Departamento de Cincia da Computao Universidade Federal de Minas Gerais Belo Horizonte - MG

O que Data Warehouse?

Um Data Warehouse um conjunto de dados baseado em assuntos, integrado, no voltil, e varivel em relao ao tempo, de apoio s decises gerenciais. William Immon - 1992

Curso de Sistemas de Telecomunicaes

Curso de Sistemas de Telecomunicaes

Data Warehouse e Banco de Dados Operacional

OLAP (On-line Analytical Procesing) - Consultas dinmicas - Dimenses Dados histricos - exibem tendncia de comportamento Dados integrados Nmero Reduzido de Transaes (1/dia, 1/semana) Grande nmero de registros Usurio: gerentes e executivos para tomada de decises. Mas no h um padro. Analisa os dados OLTP (On-line Transaction Processing) - Consultas SQL prontas - Tabelas I Dados operacionais IDados dispersos I Grande nmero de Transaes (frequentemente atualizado) I Nmero de registros varivel I Usurio: profissional operacional da empresa e est preocupado em executar as operaes de modo eficiente, e no como elas ocorrem I Entrada de dados (armazenar)
I

O que Data Warehousing?

Data Warehousing no um produto, e sim uma estratgia que reconhece a necessidade de armazenar dados, separadamente, em sistemas de informao e consolid-los, de forma a assistir diversos profissionais de uma empresa na tomada de decises de modo rpido e eficaz.

Curso de Sistemas de Telecomunicaes

Curso de Sistemas de Telecomunicaes

Por que Data Warehousing?

A informao o bem mais valioso para uma empresa; Decises precisam ser tomadas rapidamente e corretamente, usando todo dado disponvel; Usurios so experts em negcios, e no profissionais em tecnologia; A quantidade de dados est dobrando a cada 18 meses, o que afeta o tempo de resposta e a habilidade de compreender seu contedo; Estratgias de competio - diferencial positivo em relao a concorrncia; Anlise do perfil do mercado;

Tipos de Data Warehouse

Marketing - Avalia a performance comercial de um produto ou servio a partir de diversas perspectivas diferentes Financeiro - Monitoram a performance comercial em termos financeiros Comportamental - Contm informaes individuais a respeito de cada cliente e seus comportamentos.

Curso de Sistemas de Telecomunicaes

Curso de Sistemas de Telecomunicaes

9/25/00

Data Warehouse Incremental

Abordagens de implementao de DW (Top-Down e Up); Projeto de impacto:
Projetos envolvem compromisso, recursos financeiros e pessoal, sujeitos a variaes. (Tempo, oramento, etc) Custos envolvidos aumentam a presso por resultados, recomenda-se iniciar um projeto-piloto de escopo e propores reduzidos, mas com retorno considervel;

Arquitetura de um Data Warehouse

Aquisio da Informao: Esta camada responsvel por reunir, refinar, limpar e agregar o dados dos sistemas de produo. O dado deve estar correto e prover um nico significado para facilitar na tomada de deciso. Armazenamento da Informao: Esta camada prov o armazm da informao. Disponibilizao da Informao: Esta camada parte da arquitetura que suportar um conjunto de ferramentas de apresentao e anlise. (Relatrios e consultas)

Criao de Data Marts Integrados (Data Marts extraem e ajustam pores de DWs disponibilizados em prazos e custos menores, mais gerencivel.
aos requisitos especficos de grupos/departamentos)

Curso de Sistemas de Telecomunicaes

Curso de Sistemas de Telecomunicaes

Arquitetura de um Data Warehouse (DW)

Dados Operacionais ERP Fontes de Dados Externos Data Mart - So subconjuntos departamentais focados em assuntos selecionados. DM

DW

DM

DM

Camada de Aquisio da Informao

Reunir Refinar Agregar Armazenar

DW
Camada de Armazenamento da Informao Acesso e Anlise DM Montagem

O DW formado por fontes de dados internas (dados resultantes das transaes dirias das atividades de negcio ) e externas (indicadores econmicos de uma regio, dados demogrficos, dados sobre o desempenho dos concorrentes e o perfil dos clientes potenciais)

Consultas Relatrios

Anlise Multidimensional OLAP

Data Mining

OLAP - On Line Analytical Processing Suportam anlise sofisticada, atendem a um nmero de dimenses elevado e possibilitam a anlise do negcio a partir de grandes conjuntos de dados Todas as vendas realizadas, em cada regio geogrfica para cada tipo de produto

Geografia

DM

LAN Camada de Entrega da Informao Gerente de Produto Gerente de Crdito

Data Marts extraem e ajustam pores de DWs aos requisitos especficos de grupos/departamentos

Tempo

Produto

Curso de Sistemas de Telecomunicaes

Curso de Sistemas de Telecomunicaes

O que DW para Intranet?

Combinao de tecnologias que permite que seus usurios gerem dinamicamente uma pesquisa no banco de dados, analisando e formatando os resultados na forma de arquivos texto ou imagem.

Por que DW para Intranet?

Melhora a capacidade de comunicao e colaborao dentro da empresa; Atinge um nmero grande de usurios sem conhecimentos tcnicos.

Curso de Sistemas de Telecomunicaes

Curso de Sistemas de Telecomunicaes

9/25/00

O que Data Mining?

Minerao dos dados : usa complexas pesquisas em grandes volumes de dados para explorar e identificar relacionamentos entre variveis que antes eram previamente independentes. Isso permite que as organizaes gerenciem relacionamentos de causa e efeito mais eficientemente, e antecipem polticas para isso.

Diferenas entre DM e OLAP

Data Mining Mtodo alternativo (trabalha contra todos os dados de um grupo) e automtico (estuda o dados e apresenta o achado) para descobrir padres nos dados. Questo desconhecida e a ferramenta utilizada para busca de conhecimentos. OLAP Trabalha com alguns dados e tem que perfurar (drilldown) em busca de detalhes. Explorados manualmente. Explorao atravs da verificao - o analista elabora uma hiptese para confirm-la ou refut-la.

Curso de Sistemas de Telecomunicaes

Curso de Sistemas de Telecomunicaes

Como implementar um Data Mining

Algoritmos baseados em redes neurais, estatsticas ou algoritmos de aprendizado, capazes de explorar gigantescas bases de dados em busca de informaes que ajudam as empresas a decifrar o comportamento do consumidor, a compra de suprimentos, administrar as reas comerciais e financeira de forma transparente. Ferramentas capazes de aprender a partir dos dados, gerando e validando enormes volumes de hipteses e destacando conhecimento interessante para o usurio, descobrindo conhecimento novo, til e interessante.
Curso de Sistemas de Telecomunicaes

Aplicaes de Data Mining

Cross-selling: Identificar associao entre produtos, procurando tirar proveito dessas associaes. Up-selling: Identificar entre os clientes atuais aqueles que tem potencial para adquirir produtos que proporcionem maior lucro para a companhia. Em um servio de TV por assinatura, por exemplo, uma forma de realizar up-selling seria identificar o perfil dos compradores de Pay-Per-View e utilizar este perfil para dirigir uma campanha aos clientes que tem as mesmas caractersticas, mas ainda no compram este produto;
Curso de Sistemas de Telecomunicaes

Aplicaes de Data Mining

Fidelizao: Descobrir o perfil, situao e combinao de fatores que esto relacionados com a perda de clientes, para que se trabalhe estes clientes e mantenha o relacionamento, dentro da filosofia de que manter um cliente conquistado mais barato que conquistar novos clientes.

Algumas barreiras do uso de DM

Altos custos; Complexidade de ferramentas; Preparao dos dados para minerao (80% do trabalho). Os dados devem estar limpos, consistentes e livres de excessivas nulidades; Dificuldade em se estimar a taxa de retorno do investimento. Uma vez que o objetivo do DM descobrir tendncias em dados invisveis de outra maneira, torna-se impossvel estimar a partir de algo desconhecido.
Curso de Sistemas de Telecomunicaes

Curso de Sistemas de Telecomunicaes

9/25/00

Bibliografia
Um projeto de Data Warehouse nunca termina! As fontes de dados mudam, as necessidades dos usurios tambm mudam, o nmero deles aumenta, as regras de mercado se alteram, os usurios demandaro mais informaes. Enfim, data warehousing no um destino; uma viagem.
Data Warehouse - Conceitos e Solues Adelize Generini de Oliveira Data Mining - A hands-on approach for bussiness professionals Robert Groth Data Warehouse Intranet Internet http://www.datawarehouse.inf.br/

Curso de Sistemas de Telecomunicaes

Curso de Sistemas de Telecomunicaes