Inteligência Artificial

Mineração de Dados

Prof. Jefferson Morais

Prof. Jefferson Morais Inteligência Artificial Aula 22

O que é a mineração de dados?
● É a noção de encontrar/extrair padrões úteis em grandes
volumes de dados
● Ao longo da história, a mineração de dados já teve outros
nomes
– Extração de conhecimento (knowledge extraction)
– Colheita de informação (Information harvesting)
– Arqueologia de dados (data archaeology)
– Processamento de padrão de dados (data pattern processing)

● O termo mineração de dados tem sido amplamente usado por

estatísticos, analistas (ou cientistas) de dados e comunidades
de banco de dados

Prof. Jefferson Morais Inteligência Artificial Aula 21 2

O que é a mineração de dados? Mais definições

● Em Hand et al., por uma perspectiva estatística: "é a análise de grandes

conjuntos de dados a de encontrar relacionamentos inesperados e de
resumir os dados de uma forma que eles sejam tanto úteis quanto
compreensíveis ao dono dos dados"

● Em Cabena et al., por uma perspectiva de banco de dados: "é um campo

interdisciplinar que junta técnicas de máquinas de conhecimentos,
reconhecimento de padrões, estatísticas, banco de dados e visualização,
para conseguir extrair informações de grandes bases de dados"

● Em Fayyad et al., a definição é dada da perspectiva do aprendizado de

máquina: "é um passo no processo de descoberta de conhecimento que
consiste na realização da análise dos dados e na aplicação de algoritmos
de descoberta que, sob certas limitações computacionais, produzem um
conjunto de padrões de certos dados."

Prof. Jefferson Morais Inteligência Artificial Aula 21 3

A natureza interdisciplinar do KDD
● O KDD tem evoluído a partir da interseção de outras áreas
– Aprendizado de máquina
– Visualização de dados
– Estatística
– Banco de dados
– Inteligência artificial
– Computação de alto desempenho

Prof. Jefferson Morais Inteligência Artificial Aula 21 4

KDD vs mineração de dados
● Segundo Fayyad et al. (1996), o KDD se refere ao processo geral da
descoberta de conhecimento oriundo dos dados, enquanto que a
mineração de dados em si refere-se a aplicação de algoritmos específicos
para extrair padrões dos dados

● Os passos adicionais do KDD, tais como preparação dos dados, a seleção,

a limpeza, a incorporação de conhecimento a priori e a interpretação
correta dos resultados da mineração são essenciais para garantir que um
conhecimento útil foi derivado dos dados

Prof. Jefferson Morais Inteligência Artificial Aula 21 5

Etapas do KDD
A mineração de dados
é uma etapa do
KDD

Prof. Jefferson Morais Inteligência Artificial Aula 21 6

Etapas do KDD: seleção
● É escolhido o conjunto de dados, pertencente a um domínio,
contendo todas as
– Variáveis (características ou atributos)
– Registros (casos ou observações)

● A escolha dos dados fica a critério de um especialista do

domínio
● Este processo pode ser complexo, uma vez que os dados
podem vir de diferentes fontes, tais como
– Planilhas
– Sensores
– Entrevistas
– Sistemas legados
–etc.
Prof. Jefferson Morais Inteligência Artificial Aula 21 7
Etapas do KDD: pré-processamento
● Nesta etapa acontece a limpeza dos dados e seleção de
atributos
● A limpeza refere-se
– Eliminar dados redundantes, inconsistentes, errôneos e ausentes
– Avaliar possíveis dados discrepantes ao conjunto (outliers)

● Novamente, aqui o auxílio do especialista do domínio é

fundamental
● Nesta fase também são utilizados métodos de redução do
número de variáveis
– Seleção de features
– Extração de features

Prof. Jefferson Morais Inteligência Artificial Aula 21 8

Etapas do KDD: transformação
● Após serem selecionados, limpos e preprocessados os dados
necessitam ser armazenados e formatados adequadamente
para que os algoritmos de aprendizado possam ser aplicados
● Armazenamento
–É comum encontrar computadores rodando diferentes Sistemas
Gerenciadores de Bancos de Dados (SGDB) para isso

● Formatação
–Reorganizar de uma forma específica para que possam ser interpretados
na etapa seguinte
● Ex.: as redes neurais só trabalham com variáveis numéricas. Portanto,
caso a base de dados tenha dados categóricos, seria necessário convertê-
los em dados numéricos

Prof. Jefferson Morais Inteligência Artificial Aula 21 9

Etapas do KDD: mineração de dados
● É a etapa onde ocorre a exploração e análise, de forma automática ou
semiautomática, de grandes bases de dados com objetivo de descobrir
padrões e regras
● Há diversas tarefas de mineração de dados
–Associação

– Classificação
– Clusterização
– Predição
– Regressão
– Sumarização
– Detecção de outliers, etc.

Prof. Jefferson Morais Inteligência Artificial Aula 21 10

Etapas do KDD: interpretação e avaliação
● Esta é mais uma fase que deve ser feita em conjunto com um
ou mais especialistas no assunto
● O conhecimento adquirido deve ser interpretado e avaliado
para que o objetivo final seja alcançado
● Caso o resultado não seja satisfatório, o processo pode
retornar a qualquer um dos estágios anteriores ou para o
começo, podendo
– Modificar o conjunto de dados inicial
–Trocar o algoritmo de mineração de dados (ou alterar suas
configurações)

Prof. Jefferson Morais Inteligência Artificial Aula 21 11

Tarefas da mineração de dados
● Associação
● Classificação
● Clusterização (agrupamento)
● Regressão (ou estimação)
● Predição
● Sumarização (ou descrição)
● Detecção de outliers

Prof. Jefferson Morais Inteligência Artificial Aula 21 12