Você está na página 1de 47

*Business Intelligence

Ari Amaral

*O que BI?
Algum j ouviu falar sabe o que trabalha com BI?

*Ouvindo o mercado !
SAP BI A SAP lhe oferece o PODER DE SABER
SQL Server BI Seus dados a qualquer hora em qualquer lugar integrados e com viso inteligente Oracle BI Encontre padres escondidos e implemente seus insights.

*Sopa de Letrinhas
BI DW Cubo MDX Rank Slice ROLAP SVM OLAP DM Analtico Pivot OLTP ETL

*Conceitos Iniciais
Business Intelligence um conceito genrico que est ligado ao processo de se extrair novas informaes a partir de dados existentes com o intuito de AGREGAR VALOR ao negcio da empresa.

*Conceitos Iniciais
Data Mining a extrao

no-trivial
de informao implcita (nova ou previamente desconhecida) e til a partir de

bases de dados.

*Conceitos Iniciais
A Fralda e a Cerveja

O WallMart descobriu em seu BD que homens entre 25 a 35 anos, nas sexta-feiras, aps as 16 horas, que compravam cerveja, tambm compravam fraldas.
Ao: Cerveja do lado das fraldas Resultado: Cresceu 30% a venda de fraldas
7

*Conceitos Iniciais
Casaco no Cear

As Lojas Brasileiras aplicou 1 milho de reais em Data Mining e conseguiu reduzir de 51.000 produtos oferecidos para 14.000 Reduo operacional enorme sem perdas significativas nos resultados.
- Roupas de Inverno no Nordeste - Eletrodomstivos 110V em cidades com 220V
8

*Conceitos Iniciais
Clientes com bom potencial

O Bank of America selecionou entre 36 milhes de clientes os que teriam o perfil potencial como bom pagador, os que tinham filhos entre 18 e 21 anos. (??!!?)
Em 3 anos, lucrou 30 milhes de dlares.

*Conceitos Iniciais
CRM Vender mais barato em escala ou mais caro com maior valor agregado. Sistemas de CRM detectam normalmente que vendas de longo prazo com maior valor agregado tendem a ter maior inadimplncia que as vendas mais baratas. Voc concorda?
10

*Conceitos Iniciais
Fiz um relatrio com o somatrio das vendas mensais, calculei mdia, desvio padro e criei uma curva de tendncia para que nos prximos anos a empresa esteja mais preparada a cada ms. Tem inteligncia? Tem minerao de dados?

11

*Por que BI?


Todas as corporaes trabalham com grandes volumes de dados e esto se integrando a parceiros. B2B Exemplo da Mercedez no Brasil

Aproveitar a informao d agilidade e competitividade. Tempo e informao geram o poder.

12

*Por que BI?


Os recursos disponveis nos SGBDs tradicionais no esto preparados para lidar com essa nova realidade. As solues ultrapassam a noo das tabelas relacionais e de consultas SQL.

13

*As Solues de BI
Caractersticas comerciais importantes:

- Integradas a SGBDs (mega aquisies) - Alto custo - Curva de aprendizado ngreme - Operaes Complexas (distncia do usurio final)

14

Existe uma ampla gama de sentidos envolvidos.


Uma empresa de varejo interessada em oferecer a melhor oferta para seus consumidores regulares. A receita federal pesquisando transaes fraudulentas em remessas de moeda estrangeira. A anlise de crdito de um banco de varejo, decidindo quais clientes devem receber a prxima mala direta de um novo financiamento. A classificao de clientes de uma operadora de telefonia, sugerindo qual plano se adequa melhor a cada um deles.

*Compreendendo o *Data Mining

15

Como classificar um tpico to abrangente? Segundo Michael Berry (http://www.data-miners.com), uma alternativa para a classificao dos sistemas de data mining separlos em trs dimenses: Natureza da tarefa Objetivo a ser buscado Grau de estruturao dos dados

*Compreendendo o *Data Mining

16

*Compreendendo o *Data Mining


Natureza da tarefa Subdivide-se em quatro: - Classificao - Predio - Segmentao - Descrio

17

Natureza da tarefa - Classificao

*Compreendendo o *Data Mining

consiste em associar um item a uma classe, de vrias opes prdefinidas. A tarefa do analista passa a ser selecionar qual classe melhor representa um registro, por exemplo, ao se deparar com uma base de dados de veculos, em que cada registro contm os atributos de cor, peso, combustvel, nmero de portas, cilindrada e nmero de marchas, classificar cada veculo em esporte, utilitrio, ou passeio.

18

Natureza da tarefa - Predio pode ser definida como a tarefa de preencher um valor em um registro baseado em outros atributos. Como exemplo de modelo de predio, podemos construir um modelo para estimar a probabilidade de um cliente deixar de usar nossos servios baseado em seu perfil de uso.

*Compreendendo o *Data Mining

19

Natureza da tarefa - Segmentao pode ser comparada a uma tarefa de classificao sem classes prdefinidas. O objetivo de uma tarefa de segmentao consiste em agrupar registros semelhantes e separar registros diferentes. Ao se trabalhar com grandes bases de dados, muito comum que padres concorrentes se cancelem ao se observar tudo de uma s vez. Quebrar esta enorme base de dados em vrias sub-bases pode dar ao analista a condio de ver estas diferenas e identificar novas oportunidades.

*Compreendendo o *Data Mining

20

Natureza da tarefa - Descrio

*Compreendendo o *Data Mining

Tcnicas de visualizao podem trazer ao analista percepes diferentes das apresentadas em tabelas, ou relatrios.

21

Objetivo a ser buscado

*Compreendendo o *Data Mining

existem dois tipos de objetivo: - a produo de um modelo; - a produo de informao. Nas tarefas de predio, normalmente estaremos buscando um modelo que possa ser aplicado em dados no vistos anteriormente e que um score possa ser gerado. Em tarefas descritivas, buscamos informao que possa dar uma nova perspectiva ao se analisar os dados.

22

Grau de estruturao dos dados

*Compreendendo o *Data Mining

dados estruturados so normalmente os arquivos de banco de dados, as tabelas, ou seja, estruturas fixas com contedo uniforme. Dados desestruturados so arquivos do tipo texto ou imagem, e podem ser usados em projetos que tem como objetivo a identificao de padres ou formas.

23

Chegamos a uma definio:

*Compreendendo o *Data Mining

o processo de explorao e anlise de grandes quantidades de dados, com o objetivo de descobrir padres ou regras que permitam uma melhor compreenso da informao contida nos mesmos.

24

*Compreendendo o *Data Mining


Como implementar projetos de data mining? Existe um processo ou metodologia especfica para projetos deste tipo? IBM BI Certification Guide

25

*Compreendendo o *Data Mining


Os projetos de data mining podem ser implementados de vrias formas:

1- comprando software especfico para data mining; 2- contratando consultores externos que faam a coleta dos dados e a apresentao de um relatrio pronto ao cliente final; 3- processando os dados no prprio cliente, criando um ambiente em que o processo de data mining possa ser repetido e aprimorado sucessivas vezes.

26

*Compreendendo o *Data Mining


Para projetos especficos: Modelo 2. Para objetivos mais duradouros e de longo prazo: Modelo 3. Um processo hbrido, utilizando um processamento externo na primeira fase e a posterior criao de um ambiente de processamento e anlise dentro da prpria empresa aparece como a possvel soluo mais adequada.

27

*Compreendendo o *Data Mining

28

* Descoberta de

Conhecimento em Bancos de Dados

O processo no trivial de extrao de informaes implcitas, anteriormente desconhecidas, e potencialmente teis de uma fonte de dados; Torture os dados at eles confessarem; O que um padro interessante ? (vlido, novo, til e interpretvel)

* KDD x Data Mining


Minerao de dados o passo do processo de KDD que produz um conjunto de padres sob um custo computacional aceitvel;

KDD utiliza algoritmos de data mining para extrair padres classificados como conhecimento. Incorpora tambm tarefas como escolha do algoritmo adequado, processamento e amostragem de dados e interpretao de resultados;

* Etapas do Processo
Seleo Pr-processamento Transformao Data mining (aprendizagem) Interpretao e Avaliao

de descoberta do conhecimento
Compreenso do domnio e dos objetivos da tarefa; Criao do conjunto de dados envolvendo as variveis necessrias;

* Processo mnimo

* Seleo de Dados
Selecionar ou segmentar dados de acordo com critrios definidos:

*Ex.: Todas as pessoas que so proprietrias de


carros um subconjunto de dados determinado.

33

* Processo mnimo
Operaes como identificao de rudos, outliers, como tratar falta de dados em alguns campos, etc.

* Pr-Processamento
Estgio de limpeza dos dados, onde informaes julgadas desnecessrias so removidas.

Reconfigurao dos dados para assegurar formatos consistentes (identificao)


* Ex. : *
sexo = F ou M sexo = M ou H

35

* Processo mnimo
Reduo de dimensionalidade, combinao de atributos;

Processo

* Transformao
Transformam-se os dados em formatos utilizveis. Esta depende da tcnica data mining usada.

Disponibilizar os dados de maneira usvel e navegvel.

37

* Processo mnimo
Escolha e execuo do algoritmo de aprendizagem de acordo com a tarefa a ser cumprida

* Data Mining
a verdadeira extrao dos padres de comportamento dos dados (exemplos)

39

* Processo mnimo
Interpretao dos resultados, com possvel retorno aos passos anteriores;

Consolidao: incorporao e documentao do conhecimento e comunicao aos interessados;

* Interpretao e
Avaliao
Identificado os padres pelo sistema, estes so interpretados em conhecimentos, os quais daro suporte a tomada de decises humanas

41

* Implementao
de Data Mining
1- Entendimento do negcio: A fase inicial do projeto deve ter por objetivo identificar as metas e requerimentos a partir de uma perspectiva de negcio, e ento converte-las para uma aplicao de data mining e um plano inicial de ataque ao problema.

42

* Implementao
de Data Mining
2- Entendimento dos dados: Esta fase tem como atividade principal extrair uma amostra dos dados a serem usados e avaliar o ambiente em que os mesmos se encontram.

43

* Implementao
de Data Mining
3- Preparao dos dados: Criao de programas de extrao, limpeza e transformao dos dados para uso pelos algortmos de data mining.

44

* Implementao
de Data Mining
4- Modelagem: Seleo do(s) algoritmo(s) a serem utililizados e efetivo processamento do modelo. Alguns algoritmos necessitam dos dados em formatos especficos, o que acaba causando vrios retornos fase de preparao dos dados.

45

* Implementao
de Data Mining
5- Avaliao do modelo: Ao final da fase de modelagem, vrios modelos devem ter sido avaliados sob a perspectiva do analista responsvel. Agora, o objetivo passa a ser avaliar os modelos com a viso do negcio, se certificando que no existem falhas ou contradies com relao s regras do negcio.

46

* Implementao
de Data Mining
6- Publicao: A criao e validao do modelo permite avanarmos mais um passo, no sentido de tornar a informao gerada acessvel. Isto pode ser feito de vrias maneiras, desde a criao de um software especfico para tal, at a publicao de um relatrio para uso interno.

47