Escolar Documentos
Profissional Documentos
Cultura Documentos
Roteiro
Motivao Exemplo preliminar Conceitos bsicos Processo de kdd Mtodos de minerao de dados Tcnicas Exemplos Referncias
Gesto do Conhecimento
Uma deciso estratgica para o negcio depende das informaes disponveis ao gestor de uma organizao, da capacitao que este possui de interpret-las e da experincia para associ-las de maneira conveniente. A nica vantagem sustentvel de uma empresa o que ela coletivamente sabe, a eficincia com que ela usa o que sabe e a prontido com que ela adquire e usa novos conhecimentos.
Gesto do Conhecimento
Informao o resultado do processamento de dados num formato que tem significado para o usurio respectivo e que tem valor real ou potencial nas decises presentes ou prospectivas.
GC significa organizar os processos e ferramentas gerenciais de forma a melhorar a compreenso dos processos de gerao, identificao, validao e uso dos conhecimentos estratgicos:
para gerar resultados (econmicos) para a empresa e benefcios para os colaboradores internos e externos. Visa a maximizao da competitividade;
Motivao
A
Motivao
Motivao
Os recursos de anlise de dados tradicionais so inviveis para acompanhar esta evoluo Morrendo de sede por conhecimento em um oceano de dados
Motivao
Motivao
Soluo:
ferramentas de automatizao das tarefas repetitivas e sistemtica de anlise de dados ferramentas de auxlio para as tarefas cognitivas da anlise integrao das ferramentas em sistemas apoiando o processo completo de descoberta de conhecimento para tomada de deciso
Motivao
Exemplo Preliminar
Exemplo
Torture os dados at eles confessarem; O que um padro interessante ? (vlido, novo, til e interpretvel)
Conceitos
Minerao de dados o passo do processo de KDD que produz um conjunto de padres sob um custo computacional aceitvel; KDD utiliza algoritmos de data mining para extrair padres classificados como conhecimento. Incorpora tambm tarefas como escolha do algoritmo adequado, processamento e amostragem de dados e interpretao de resultados;
Conceitos
Etapas do Processo
Processo
Processo
Seleo de Dados
Processo
Processo mnimo
Operaes como identificao de rudos, outliers, como tratar falta de dados em alguns campos, etc.
Processo
Pr-Processamento
Estgio de limpeza dos dados, onde informaes julgadas desnecessrias so removidas. Reconfigurao dos dados para assegurar formatos consistentes (identificao)
Processo
Processo mnimo
Reduo de dimensionalidade, combinao de atributos;
Processo
Transformao
Transformam-se os dados em formatos utilizveis. Esta depende da tcnica data mining usada.
Disponibilizar
Processo
Processo mnimo
Escolha e execuo do algoritmo de aprendizagem de acordo com a tarefa a ser cumprida
Processo
Data Mining
Processo
Processo mnimo
Interpretao dos resultados, com possvel retorno aos passos anteriores;
Processo
Interpretao e Avaliao
Identificado os padres pelo sistema, estes so interpretados em conhecimentos, os quais daro suporte a tomada de decises humanas
Processo
Mtodos de minerao de dados normalmente so extenses ou combinaes de uns poucos mtodos fundamentais; Porm, no vivel a criao de um nico mtodo universal: cada algoritmo possui sua prpria tendncia indutiva;
Mtodos
KDD
O KDD um processo cujo objetivo a descoberta de conhecimento til. Esse conhecimento depende dos dados a serem analisados e do tipo de informao que ser obtida, na etapa de MD. Essas informaes esto relacionadas a duas categorias de padres: descritivos e preditivos.
Tarefas
Sendo assim, necessrio que se defina o que se chama de Tarefa de MD. O tipo de tarefa deve ser definido logo no incio do processo, devendo estar de acordo com o conhecimento que se queira obter.
Tarefas
As tarefas podem ser classificadas em duas categorias: descritivas e preditivas.
Descritivas: caracterizam as propriedades gerais dos dados na base de dados.
Preditivas: fazem inferncias nos dados presentes, para fazer predies sobre dados futuros.
Tarefas
As principais tarefas so:
Associao; Agrupamento; Classificao; Regresso.
Tarefas bsicas
Previso
Clculo de variveis de interesse a partir dos valores de um conjunto de variveis de explicao; comumente visada em aprendizado de mquina/estatstica; Exemplos: classificao e regresso;
Mtodos
Tarefas bsicas
Descrio
Reportar relaes entre as variveis do modelo de forma simtrica; princpio, est mais relacionada ao processo de KDD; Exemplos: agrupamento, sumarizao (incluindo sumrio de textos), dependncias, anlise de desvio;
Mtodos
Um hiperplano paralelo de separao: pode ser interpretado diretamente como uma regra:
se a renda menor que t, ento o crdito no deve ser liberado
dbito
Exemplo:
rvores de deciso; induo de regras
t
x: exemplo recusado o: exemplo aceito
renda
Mtodos
Exemplos:
regresso linear; perceptron;
dbito
t
x: exemplo recusado o: exemplo aceito
renda
Mtodos
dbito
t
x: exemplo recusado o: exemplo aceito
renda
Mtodos
Exemplos:
k-vizinhos mais prximos; raciocnio baseado em casos;
dbito
t
x: exemplo recusado o: exemplo aceito
renda
Mtodos
Agrupamento Exemplo:
+ vector quantization;
dbito
t
+: exemplo
renda
Mtodos
de associao
98% dos consumidores que adquiriram pneus e acessrios de automveis tambm se interessaram por servios automotivos; descoberta simtrica de relaes, ao contrrio de mtodos de classificao
qualquer atributo pode ser uma classe ou um atributo de discriminao;
Mtodos
Exemplos
reas de aplicaes potenciais:
Vendas e Marketing
Identificar padres de comportamento de consumidores Associar comportamentos caractersticas demogrficas de consumidores Campanhas de marketing direto (mailing campaigns) Identificar consumidores leais
Exemplos
Exemplos
reas de aplicaes potenciais:
Bancos
Identificar padres de fraudes (cartes de crdito) Identificar caractersticas de correntistas Mercado Financeiro ($$$)
Exemplos
Exemplos
reas de aplicaes potenciais
Mdica
Comportamento de pacientes Identificar terapias de sucessos para diferentes tratamentos Fraudes em planos de sades Comportamento de usurios de planos de sade
Exemplos
Introduo
Exemplo (1) - Fraldas e cervejas
O que as cervejas tem a ver com as fraldas ? homens casados, entre 25 e 30 anos; compravam fraldas e/ou cervejas s sextas-feiras tarde no caminho do trabalho para casa; Wal-Mart otimizou s gndolas nos pontos de vendas, colocando as fraldas ao lado das cervejas; Resultado: o consumo cresceu 30% .
Exemplos
Exemplos
Exemplo (2) - Lojas Brasileiras (Info 03/98)
Aplicou 1 milho de dlares em tcnicas de data mining Reduziu de 51000 produtos para 14000 produtos oferecidos em suas lojas. Exemplo de anomalias detectadas:
Roupas de inverno e guarda chuvas encalhadas no nordeste Batedeiras 110v a venda em SC onde a corrente eltrica 220v
Exemplos
Exemplos
Exemplo (3) - Bank of America (Info 03/98)
Selecionou entre seus 36 milhes de clientes
Aqueles com menor risco de dar calotes Tinham filhos com idades entre 18 e 21 anos Resultado em trs anos o banco lucrou 30 milhes de dlares com a carteira de emprstimos.
Exemplos
Exemplos
Empresas de software para Data mining:
SAS
http://www.sas.com
http://www.oracle.com
Exemplos
Concluses
Data mining um processo que permite compreender o comportamento dos dados. Data mining analisa os dados usando tcnicas de aprendizagem para encontrar padres e regulariedades nestes conjuntos de dados. um problema pluridisciplinar, envolve Inteligncia Artificial, Estatstica, Computao Grfica, Banco de Dados. Pode ser bem aplicado em diversas reas de negcios
Concluses
Referncias
Fayyad et al. (1996). Advances in knowledge discovery and data mining, AAAI Press/MIT Press. Holsheimer, M. & Siebes, A.P.J.M. Data Mining: The Search for Knowledge in Databases, 1994. http://www-pcc.qub.ac.uk/tec/courses/datamining http://www.rio.com.br/~extended http://www.datamining.com http://www.santafe.edu/~kurt http://www.datamation.com http://www-dse.doc.ic.ac.uk/~kd http://www.cs.bham.ac.uk/~anp http://www.dbms.com http://www.infolink.com.br/~mpolito/mining/mining.html http://www.lci.ufrj.br/~labbd/semins/grupo1
Referncias