1

Pontifcia Universidade Catlica do

Paran
Data Warehouse:
nova tecnologia para suporte
deciso em Gesto da
Produo
Prof. Dr. Fbio Favaretto
Contedo
Introduo
Gesto de informaes e bancos de dados
Conceitos de Data Warehouse
Processo de Data Warehousing
Bancos de dados e modelos dimensionais
Consultas OLAP
Aplicaes na gesto da produo
Exemplo
2
Contedo
Introduo
Gesto de informaes e bancos de dados
Conceitos de Data Warehouse
Processo de Data Warehousing
Bancos de dados e modelos dimensionais
Consultas OLAP
Aplicaes na gesto da produo
Exemplo
Introduo
O que Data Warehouse?
o resultado de um processo de armazenagem
de dados especfico e integrados de fontes
heterogneas para a realizao de consultas e
anlises dimensionais
Surgiu na dcada de 80 com os trabalhos de
Bill Inmon, para cobrir aspectos de gerao
de informaes falhos nos bancos de dados
relacionais
3
Dados so registros da realidade, em alto
grau de detalhe
O processamento de dados gera informaes
Exemplo:
Dados: todas as vendas de um dia
Informao: receita total (soma de todas as
vendas)
Introduo
Introduo
Diferenas entre os bancos de relacionais e ambientes
de Data Warehouse (DW) (Han e Kamber, 2001)
Tempo de processamento
de consulta
Tempo processamento de
transao
Medida de performance
Milhares Dezenas Nmero de registros
Sada de informaes Entrada de dados Foco
Leitura Leitura, excluso e incluso Acesso
Consultas complexas Transao Unidade de trabalho
Consolidados, histricos Correntes, detalhados Dados
Orientado a assunto Orientado a aplicao Banco de dados
Suporte deciso Operaes do dia a dia Funes
Anlises Transaes Orientado a
Processamento
informacional
Processamento operacional Propsito
DW BD relacionais Caracterstica
4
Introduo
Bibliografia recomendada:
Han, J., Kamber, M., 2001, Data mining, Morgan
Kaufmann Publishers, New York, USA, 535p.
Inmon, W. H., 1997, Como construir o Data Warehouse,
Editora Campus, So Paulo, Brasil, 266p.
Inmon, W. H.,Terderman, R., Imhoff, C., 2001, Data
Warehouseing: como transformar informaes em
oportunidades de negcios, Editora Berkely, So Paulo,
Brasil, 266p.
Kimball, R., 1998, Data Warehouse tool kit: tcnicas para
construo de data warehouses dimensionais, Makron
Books, So Paulo, Brasil, 388p.
Machado, F. N. R, 2000, "Projeto de Data Warehouse: uma
viso multidimensional", Editora rica, So Paulo, Brasil,
248p.
Barbieri, C, 2001, BI Business intelligence: modelagem &
tecnologia, Axcel Books, Rio de Janeiro, Brasil, 424p.
Contedo
Introduo
Gesto de informaes e bancos de dados
Conceitos de Data Warehouse
Processo de Data Warehousing
Bancos de dados e modelos dimensionais
Consultas OLAP
Aplicaes na gesto da produo
Exemplo
5
Gesto de informaes e bancos de
dados
Usualmente, os sistemas de informaes (SI)
utilizam bancos de dados
O padro mais comum o bancos de dados
relacional. Algumas caractersticas:
composto por tabelas, que armazenam registros
sobre um conjunto de elementos (entidade). Exemplo:
mdicos, pacientes
As tabelas se relacionam entre si. Exemplo: cada
mdico atende alguns pacientes
Registra cada transao elementar. Exemplo: cada
consulta realizada pelos mdicos de uma clnica
As pesquisas so feitas atravs de uma linguagem
especfica (SQL Structured Query Language)
Gesto de informaes e bancos de
dados
Relacionamento:
Consultas
Entidade: Mdicos
Entidade: Pacientes
Atributos:
Nome do mdico
Especialidade
Endereo
Telefone
Celular
Atributos:
Nome do mdico
Nome do paciente
Data da consulta
Local da consulta
Atributos:
Nome do paciente
Endereo
Telefone
Celular
Convnio
Data de nascimento
Sexo
1
n
1
n
Exemplo de modelo de banco de dados
relacional:
6
Gesto de informaes e bancos de
dados
Exemplo de registros de banco de dados
relacional (Tabela: mdicos):
41-366-6666 Radiologista Tnia Moura Mara
41-299-9999 Clnico geral Silvio Silva
41-200-1000 Pediatra Mara Maria
41-222-3333 Nefrologista Lcio Martinho Costa
41-333-4444 Ortopedista Jos da Silva Jr.
41-234-5678 Pediatra Adriana Caldireito
Telefone Especialidade Nome (chave)
Gesto de informaes e bancos de
dados
Exemplo de consulta SQL (Tabela: mdicos):
Quero saber quais so todos os mdicos pediatras.
SQL: Select NOME where ESPECIALIDADE =
Pediatra
Resultado:
Mara Maria
Adriana Caldireito
Nome (chave)
7
Gesto de informaes e bancos de
dados
Para o desenvolvimento de Sistemas de
Informao (e conseqentemente os bancos
de dados relacionais), existem diversas
abordagens:
Anlise de sistemas (anlise de requisitos, ...)
Paradigma espiral
Engenharia de software
Os principais modelos desenvolvidos so:
Modelo do processo
Diagrama de fluxo de dados (DFD)
Diagrama Entidade-Relacionamento
Gesto de informaes e bancos de
dados
Normalmente, um SI atende um conjunto
limitado de interesses, relacionado com as
transaes realizadas ou com um
departamento da organizao
Por exemplo, um sistema de vendas, registra
as transaes de vendas e mantm os
cadastros relacionados (produtos, clientes,
vendedores, notas fiscais e outros)
Isso leva as empresas a possurem diversos
SI. Cada um destes proprietrio de seus
dados, e raramente existem integraes
entre os SI ou entre os bancos de dados
8
Gesto de informaes e bancos de
dados
Para a tomada de decises abrangentes, so
necessrias informaes de diversos setores, e
conseqentemente de diversos bancos de dados
Caso no exista integrao entre os bancos de
dados, necessria a consolidao (integrao)
manual de dados, a partir de relatrios.
Algumas formas de integrar SI:
Arquivos texto
Banco de dados compartilhados
EDI e XML
ODBC
Contedo
Introduo
Gesto de informaes e bancos de dados
Conceitos de Data Warehouse
Processo de Data Warehousing
Bancos de dados e modelos dimensionais
Consultas OLAP
Aplicaes na gesto da produo
Exemplo
9
Conceitos de DW
Alguns conceitos e caractersticas do DW:
orientado a assuntos
no voltil, ou seja, os dados nunca so
atualizados, mantendo um registro histrico
Os dados so sumarizados ou consolidados
Deve gerenciar grandes volumes de dados
Permite consultas complexas, com grande
performance e facilidade para montagem
Possui uma natureza integradora
Conceitos de DW
Alguns conceitos e caractersticas do DW
(continuao):
Cria uma redundncia dos dados que o geraram,
mantendo a performance dos sistemas de
transao
Extrai dados de fontes heterogneas, fazendo sua
integrao e transformao
Trabalha com dados histricos (acima de 5 anos)
10
Contedo
Introduo
Gesto de informaes e bancos de dados
Conceitos de Data Warehouse
Processo de Data Warehousing
Bancos de dados e modelos dimensionais
Consultas OLAP
Aplicaes na gesto da produo
Exemplo
Processo de Data Warehousing
No existe uma abordagem nica entre os
autores
Basicamente, o processo consiste em:
Modelar o DW
Extrair os dados brutos dos sistemas de transao
Integrar, limpar e transformar (consolidar) os dados
Popular o DW
Gerar ambientes de consulta (OLAP Online
Analytical Processing)
11
Processo de Data Warehousing
Han e Kamber, 2001
Processo de Data Warehousing
Inmon et alli, 2001
12
Processo de Data Warehousing
Machado, 2000
Processo de Data Warehousing
Etapa: Modelar o DW
Identificar o assunto que ser analisado
Consiste em fazer um projeto de como ser o DW,
que indica quais os indicadores (medidas) que
sero analisados, e as dimenses de anlise
Deve considerar quais so os indicadores
necessrios para gerenciar o negcio
Deve considerar quais so os dados disponveis
para gerar os indicadores, e aqueles que
precisam serem disponibilizados
Os modelos sero apresentados com detalhes a
seguir
13
Processo de Data Warehousing
Etapa: extrair os dados originais
Os dados de origem so os registros dos bancos de
dados relacionais dos sistemas de suporte transaes
necessrio mapear os dados de origem
necessrio mapear o acesso aos dados de origem
(diferentes padres, gerenciadores de bancos de dados
e plataformas)
A extrao no pode comprometer a performance dos
SI de origem. Normalmente feita de madrugada
A extrao feita por ferramenta que cria uma
redundncia (provisria ou intermediria) dos dados
originais
Processo de Data Warehousing
Etapa: integrar dados originais
Os dados originais geralmente esto em
diferentes bases. Por exemplo: vendas de
produtos no ms, produo de componentes por
dia e compra de materiais por semana
necessrio colocar os dados na mesma base
Pode ser necessrio fazer ajustes nos dados,
como por exemplo unir (concatenar) um cdigo
numrico com a descrio em texto
14
Processo de Data Warehousing
Etapa: limpar dados originais
Pode ser necessrio eliminar alguns registros dos
dados originais, como dados de testes,
incompletos ou no representativos
Podem ser eliminados dados fora de valores
estabelecidos
Eliminao de dados redundantes
Processo de Data Warehousing
Etapa: transformar os dados originais
Consolidar dados. Por exemplo, fazer a soma de
todas as vendas de um dia
Esta transformao est relacionada com a
granularidade que o DW ir trabalhar. Quanto
maior a granularidade, maior o nvel de detalhes e
menor necessidade de transformar os dados
15
Processo de Data Warehousing
Etapa: popular o DW
Esta etapa consiste em colocar os dados
extrados, limpos e transformados das fontes
originais no DW
Este processo feito em batch (lote), e somente
dados novos so inseridos. Os dados j no DW
no so alterados nem excludos (no
volatilidade)
Normalmente o DW possui um grande volume de
dados
O armazenamento pode ser feito em um banco de
dados dimensional ou relacional
Processo de Data Warehousing
Etapa: gerar ambiente de consulta
O objetivo final do DW este ambiente de
consulta
Consultas OLAP. No banco de dados relacional
so feitas consultas OLTP (Online Transaction
Processing)
Este ambiente deve ter uma interface amigvel e
simples, onde o usurio pode construir suas
consultas, de acordo com sua necessidade ou
intuio
Estas consultas sero detalhadas
16
Contedo
Introduo
Gesto de informaes e bancos de dados
Conceitos de Data Warehouse
Processo de Data Warehousing
Bancos de dados e modelos dimensionais
Consultas OLAP
Aplicaes na gesto da produo
Exemplo
Bancos de dados e modelos
dimensionais
Um banco de dados dimensional feito ao
redor de um assunto, que pode ser analisado
por diversas dimenses
As anlises so feitas atravs de indicadores,
que so medidas numricas que permitem a
anlise do assunto. Por exemplo, podemos
analisar o assunto vendas, atravs dos
indicadores total de vendas em Reais e total
de vendas em unidades de produtos
17
Bancos de dados e modelos
dimensionais
Viso grfica de um banco de dados dimensional
(Machado, 2000):
Bancos de dados e modelos
dimensionais
Fato: Volume de
Vendas
Medidas:
Unidades vendidas
Receita obtida
Custo
Dimenso: Pontos
de venda
Dimenso: Promo-
es
Dimenso: Tempo
Dimenso: Produtos
Atributos:
Chave
Endereo
Bairro
Cidade
Estado
Regio
Pas
Atributos:
Chave
Nome da promoo
Tipo de anncio
Media anunciada
Chaves:
Chave de tempo
Chave de produto
Chave de ponto de
vendas
Chave de promoes
Atributos:
Chave
Dia
Semana
Ms
Ano
Atributos:
Chave
Descrio
Marca
Categoria
Departamento
Exemplo de modelo dimensional:
18
Bancos de dados e modelos
dimensionais
Existem dois modelos mais utilizados:
Star schema: proposto por Kimball. Faz a
desnormalizao das dimenses. Tem uma
compreenso mais fcil, porm gera
redundncias e utiliza mais espao de
armazenamento
Snow flake: Normaliza as dimenses. Ocupa
menos espao de armazenamento. Prejudica a
performance das consultas, pois necessrio
explorar os relacionamentos.
Bancos de dados e modelos
dimensionais
Modelo Star schema:
Fato: Volume de
Vendas
Dimenso: Local
De venda
Dimenso: Promo-
es
Dimenso: Produtos
Dimenso: Tempo
19
Bancos de dados e modelos
dimensionais
Modelo Snow flake:
Fato: Volume de
Vendas
Dimenso: Cidade
de venda
Dimenso: Promo-
es
Dimenso: Produtos
Dimenso: Tempo
Dimenso: Estado
de venda
Dimenso: Regio
de venda
Dimenso: Pas
de venda
Bancos de dados e modelos
dimensionais
O modelo dimensional deve mapear:
O assunto a ser analisado, chamado de fato. A
tabela fato possui as chaves das dimenses e as
medidas. Deve ser definida a granularidade da
anlise
As dimenses de anlise do fato. Cada dimenso
possui atributos que especificam a anlise
Normalmente existe uma dimenso relacionada
ao tempo
20
Bancos de dados e modelos
dimensionais
Duas abordagens para implantao do DW:
Top down: a partir das medidas necessrias, so
identificadas as fontes de dados e feito o modelo
dimensional
Bottomup: a partir dos dados disponveis so
geradas as medidas
interessante uma abordagem mista
Contedo
Introduo
Gesto de informaes e bancos de dados
Conceitos de Data Warehouse
Processo de Data Warehousing
Bancos de dados e modelos dimensionais
Consultas OLAP
Aplicaes na gesto da produo
Exemplo
21
Consultas OLAP
As consultas OLAP so definidas atravs de
algumas operaes:
Drill down: quando a anlise passa de um atributo
mais genrico de uma dimenso para um atributo
mais especfico. Exemplo: anlise das vendas em
Reais de um estado e depois das cidades do
estado
Roll up: o inverso do drill down
Slice: fatiar o cubo. Um valor de um atributo
fixado e as outras dimenses so analisadas
Dice: fazer um sub cubo para anlise
Consultas OLAP
22
Contedo
Introduo
Gesto de informaes e bancos de dados
Conceitos de Data Warehouse
Processo de Data Warehousing
Bancos de dados e modelos dimensionais
Consultas OLAP
Aplicaes na gesto da produo
Exemplo
Aplicaes na gesto da produo
A princpio, qualquer indicador utilizado na
gesto da produo pode ser gerenciado
pelo DW. Exemplos:
Produtividade
Custos
Ocupao de capacidade
Pontualidade
Qualidade
Controle da produo
Manuteno
Gesto da cadeia de suprimentos
23
Aplicaes na gesto da produo
Alguns problemas:
No existem muitos dados disponveis, e sua
coleta difcil
No existe acesso aos dados
Bases diferentes
Grande nmero de controles paralelos (sistemas
e planilhas) sem padronizao
Qualidade baixa dos dados
Contedo
Introduo
Gesto de informaes e bancos de dados
Conceitos de Data Warehouse
Processo de Data Warehousing
Bancos de dados e modelos dimensionais
Consultas OLAP
Aplicaes na gesto da produo
Exemplo
24
Exemplo de aplicao Gesto da
cadeia de suprimentos
Indicador: ndice de entregas em tempo
(entregas em tempo / todas entregas)
Dimenses:
Produtos
Distribuio (modais e empresas)
Localidade
Canal de venda
Local de produo
Tempo
Exemplo de aplicao Controle da
produo
Indicador: quantidade de peas produzidas
Dimenses:
Recurso: planta, departamento, linha, grupo,
equipamento
Produto: famlia, produto, componente, material
Vendas: vendedor, ordem de venda
Planejamento: cliente, pedido, ordem de produo
Pessoal: supervisor, operador
Tempo
25
Exemplo de aplicao Controle de
qualidade
Aplicao real e em funcionamento
Surgiu da necessidade de um diretor em
gerenciar uma meta de custos de qualidade.
Para isso eram necessrios os indicadores
de ndice de refugos e custo dos refugos
Foi feito o mapeamento do processo de
deciso
Foi feito o mapeamento dos dados
disponveis
Exemplo de aplicao Controle de
qualidade (cont.)
Nem todos os dados necessrios estavam
disponveis. Foi necessrio modificar a coleta
(apontamento) de dados que era realizada
Tambm foi necessrio modificar a forma
como os dados estavam armazenados em
diferentes mdulos do sistema ERP (SAP
R/3)
26
Exemplo de aplicao Controle de
qualidade (cont.)
Deteco de
um refugo
Apontamento
manual
Gerao de
relatrios na
planilha
Gerao de
relatrios no
sistema ERP
Consolidao
manual
Gerao de
relatrio
para diretoria
Digitao
diria em
planilha
Digitao
diria no
sistema ERP
Refugos
Peas
boas
Custos
Entrada de
peas no
almoxarifado
Digitao
mensal no
sistema ERP
Gerao de
relatrio no
sistema ERP
Atribuio de
custos
Custos indiretos, de
materiais, mo de
obra e operaes
Gerao de
relatrio no
sistema ERP
Situao anterior:
Exemplo de aplicao Controle de
qualidade (cont.)
Indicadores: quantidade de peas boas,
quantidade de peas refugadas, ndice de
refugos e custo dos refugos
Dimenses:
Local de produo
Produto
Cdigo de defeito
Tempo
27
Exemplo de aplicao Controle de
qualidade (cont.)
Todo o desenvolvimento foi feito utilizando
Visual Basic e MS Excel (tabelas dinmicas)
Foi desenvolvida uma interface, onde os
usurios podem fazer consultas livres ou
utilizar consultas pr definidas
O ambiente de pesquisa foi disponibilizado
em HTML na intranet da empresa
A carga de dados diria e automtica
Existem aproximadamente 200 usurios
FIM
Contato:
Fabio Favaretto
fabiofav@ccet.pucpr.br
www.produtronica.pucpr.br/favaretto
Telefone: 41-330-1344