Minerao de Dados - Conceitos, Aplicaes e

Experimentos com Weka

Marcelino Pereira dos Santos Silva1,2
1

Universidade do Estado do Rio Grande do Norte (UERN)

BR 110, Km 48, 59610-090, Mossor, RN, Brasil
2

Instituto Nacional de Pesquisas Espaciais (INPE)

C. Postal 515, 12201-097, So Jos dos Campos, SP, Brasil
mpss@dpi.inpe.br

Abstract. Tools and techniques employed for automatic and smart analysis of
huge data repositories of industries, governments, corporations and scientific
institutes are the subjects dealt by the emerging field of Knowledge Discovery
in Databases (KDD). Data mining is the KDD step where it's performed the
method selection to search patterns in data, followed by the search for
interesting patterns in a particular representation and the best parameter
tuning of the chosen algorithms. This course will present the fundamentals of
data mining, as well some research and application areas of this technology.
In order to reach a practical and applied approach, data mining tasks will be
performed using Weka, a collection of machine learning algorithms for real
data mining tasks. The activities will help to fix concepts shown, allowing the
perception of potentialities of this recent and challenging research area.
Resumo. As ferramentas e tcnicas empregadas para anlise automtica e
inteligente dos imensos repositrios de dados de indstrias, governos,
corporaes e institutos cientficos so os objetos tratados pelo campo
emergente da Descoberta de Conhecimento em Bancos de Dados (Knowledge
Discovery in Databases - KDD). Minerao de dados a etapa em KDD
responsvel pela seleo dos mtodos a serem utilizados para localizar
padres nos dados, seguida da efetiva busca por padres de interesse numa
forma particular de representao, juntamente com a busca pelo melhor
ajuste dos parmetros do algoritmo para a tarefa em questo. Neste
minicurso, os fundamentos de minerao de dados sero apresentados, bem
como diferentes reas de pesquisa e aplicao desta tecnologia. Visando um
enfoque prtico e aplicado, atividades de minerao sero realizadas com o
Weka, um pacote de algoritmos de aprendizagem de mquina para resolver
problemas reais de minerao de dados. Estas atividades auxiliaro na
fixao dos conceitos apresentados, bem como numa melhor percepo do
potencial desta recente e desafiadora rea de pesquisa.

1. Introduo
As reas governamentais, corporativas e cientficas tm promovido um crescimento
explosivo em seus bancos de dados, superando em muito a usual capacidade de

interpretar e examinar estes dados, gerando a necessidade de novas ferramentas e

tcnicas para anlise automtica e inteligente de bancos de dados [Fayyad et al. 1996].
Nos diferentes segmentos da sociedade, as instituies tm buscado na tecnologia
recursos que agreguem valor aos seus negcios, seja agilizando operaes, suportando
ambientes ou viabilizando inovaes. Diariamente, pessoas e instituies
disponibilizam dados oriundos de tarefas cotidianas a estas plataformas tecnolgicas
atravs de simples atividades como compras no supermercado do bairro ou operaes
bancrias. Os sistemas de computao participam da vida das pessoas de forma cada
vez mais prxima e constante. No obstante, institutos cientficos, indstrias,
corporaes e governos acumulam volumes gigantescos de dados, impulsionados
tambm pela versatilidade e alcance proporcionados pela Internet.
Esta ampla disponibilidade de imensas bases de dados, aliada eminente necessidade
de transformar tais dados em informao e conhecimento teis para o suporte deciso,
tm demandado investimentos considerveis da comunidade cientfica e da indstria de
software. A informao e o conhecimento obtidos podem ser utilizados para diversas
aplicaes, que vo do gerenciamento de negcios, controle de produo e anlise de
mercado ao projeto de engenharia e explorao cientfica [Han & Kamber 2001].
As ferramentas e tcnicas empregadas para anlise automtica e inteligente destes
imensos repositrios so os objetos tratados pelo campo emergente da descoberta de
conhecimento em bancos de dados (DCBD), da expresso em ingls Knowledge
Discovery in Databases (KDD). Minerao de dados a etapa em KDD responsvel
pela seleo dos mtodos a serem utilizados para localizar padres nos dados, seguida
da efetiva busca por padres de interesse numa forma particular de representao,
juntamente com a busca pelo melhor ajuste dos parmetros do algoritmo para a tarefa
em questo.
1.1. O Processo de Descoberta de Conhecimento em Bancos de Dados (KDD)
Descoberta de conhecimento em bancos de dados, o processo no trivial de identificar
em dados padres que sejam vlidos, novos (previamente desconhecidos),
potencialmente teis e compreensveis, visando melhorar o entendimento de um
problema ou um procedimento de tomada de deciso [Fayyad et al. 1996]. Examinando
estes termos individualmente:

Dados: conjunto de fatos F, como instncias de um banco de dados. Por

exemplo, uma coleo de n cadastros de pessoas fsicas contendo idade,
profisso, renda etc.

Padro: expresso E em uma linguagem L descrevendo fatos em um subconjunto

FE de F. E dito um padro se mais simples do que a enumerao de todos os
fatos em FE. Por exemplo, o padro: Se renda < $r ento a pessoa no recebe
financiamento seria aplicvel para uma escolha apropriada de r.

Processo: geralmente em KDD, processo uma seqncia de vrios passos que

envolve preparao de dados, pesquisa de padres, avaliao de conhecimento,
refinao envolvendo iterao e modificao.

Validade: os padres descobertos devem ser vlidos em novos dados com algum
grau de certeza. Uma medida de certeza uma funo C mapeando expresses

em L para um espao de medidas MC . Por exemplo, se um limite de padro de

crdito ampliado, ento a medida de certeza diminuiria, uma vez que mais
financiamentos seriam concedidos a um grupo at ento restrito a esta operao.

Novo: em geral, assume-se que novidade pode ser medida por uma funo
N(E,F), que pode ser uma funo booleana ou uma medida que expresse grau de
novidade ou surpresa. Exemplo de um fato que no novidade: sejam E =
usa tnis e F = alunos de colgio ento N(E,F) = 0 ou N(E,F) = false. Por
outro lado: sejam E = bom pagador e F = trabalhador da construo civil
ento N(E,F) = 0,85 ou N(E,F) = true.

Potencialmente til: padres devem potencialmente levar a alguma atitude

prtica, conforme medido por alguma funo de utilidade. Por exemplo, regras
obtidas no processo podem ser aplicadas para aumentar o retorno financeiro de
uma instituio.

Compreensvel: um dos objetivos de KDD tornar padres compreensveis para

humanos, visando promover uma melhor compreenso dos prprios dados.
Embora seja um tanto subjetivo medir compreensibilidade, um dos fatores
freqentes a medida de simplicidade. O fator de compreenso dos dados est
relacionado intuitividade da representao destes, bem como da granularidade
alta o suficiente para que estes sejam compreendidos. Por exemplo: o log de um
servidor Web no uma representao compreensvel; j fatos estatsticos
extrados deste log, tais como totais de acesso ou classificao dos acessos
realizados, fornecem informao num formato mais intuitivo e de granularidade
humanamente compreensvel.

1.2. Etapas do Processo de Descoberta de Conhecimento em Bancos de Dados

O processo de KDD interativo, iterativo, cognitivo e exploratrio, envolvendo vrios
passos (Figura 1) com muitas decises sendo feitas pelo analista (que um especialista
do domnio dos dados, ou um especialista de anlise dos dados), conforme descrito:
1. Definio do tipo de conhecimento a descobrir, o que pressupe uma
compreenso do domnio da aplicao bem como do tipo de deciso que tal
conhecimento pode contribuir para melhorar.
2. Criao de um conjunto de dados alvo (Selection): selecionar um conjunto
de dados, ou focar num subconjunto, onde a descoberta deve ser realizada.
3. Limpeza de dados e pr-processamento (Preprocessing): operaes bsicas
tais como remoo de rudos quando necessrio, coleta da informao
necessria para modelar ou estimar rudo, escolha de estratgias para
manipular campos de dados ausentes, formatao de dados de forma a
adequ-los ferramenta de minerao.
4. Reduo de dados e projeo (Transformation): localizao de caractersticas
teis para representar os dados dependendo do objetivo da tarefa, visando a
reduo do nmero de variveis e/ou instncias a serem consideradas para o
conjunto de dados, bem como o enriquecimento semntico das informaes.
5. Minerao de dados (Data Mining): selecionar os mtodos a serem utilizados
para localizar padres nos dados, seguida da efetiva busca por padres de

interesse numa forma particular de representao ou conjunto de

representaes; busca pelo melhor ajuste dos parmetros do algoritmo para a
tarefa em questo.
6. Interpretao dos padres minerados (Interpretation/Evaluation), com um
possvel retorno aos passos 1-6 para posterior iterao.
7. Implantao do conhecimento descoberto (Knowledge): incorporar este
conhecimento performance do sistema, ou document-lo e report-lo s
partes interessadas.

Figura 1. Etapas de KDD [Fayyad et al. 1996]

1.3. Aplicabilidade de Descoberta de Conhecimento em Bancos de Dados

Visando uma exemplificao da aplicabilidade de KDD, so apresentados a seguir casos
onde a descoberta de conhecimento em bancos de dados pode desempenhar tarefas
relevantes [Witten & Frank 2000]:

Submisses a emprstimos demandam do proponente o fornecimento de dados

pessoais e financeiros relevantes. Estas informaes so utilizadas pelas
instituies financeiras como base para a deciso de efetuar ou no o
emprstimo. Tal deciso comumente tomada em dois estgios. Primeiro,
mtodos estatsticos so utilizados para determinar situaes bem definidas em
relao aceitao ou rejeio do pedido. Os casos remanescentes, ou seja,
aqueles que esto no limite necessitam de anlise humana. KDD pode ser
aplicado neste problema da seguinte forma: suponha-se a disponibilidade de um
banco de dados histrico sobre clientes da instituio, com aproximadamente
5000 cadastros contendo 20 diferentes atributos, tais como idade, tempo de
servio, vencimentos, bens, status atual de crdito etc. O tratamento dessas
informaes por mtodos de KDD geraria automaticamente regras objetivas e
claras sobre caractersticas fundamentais a bons e maus clientes, podendo estas
regras serem aplicadas para aumentar a taxa de sucesso das operaes de
emprstimo.

Diagnstico uma das principais aplicaes de sistemas especialistas. A

manuteno preventiva de dispositivos eletromecnicos pode evitar falhas que
interrompam processos industriais. Tcnicos regularmente inspecionam cada

dispositivo, medindo vibraes e outros fenmenos que indicam necessidade de

manuteno. Instalaes de indstrias qumicas chegam a utilizar mais de mil
diferentes dispositivos, que vo de pequenas bombas a grandes turboalternadores. A medio de vibraes e demais fenmenos muito ruidosa,
devido s limitaes dos procedimentos de medio e registro. Estes dados, uma
vez estudados por um especialista, conduzem a um diagnstico. As limitaes
dos procedimentos tcnicos, aliadas subjetividade humana, oferecem uma
margem de erro preocupante. Por outro lado, um universo de 600 falhas, cada
uma devidamente registrada com seus conjuntos de medies representando 20
anos de experincia, pode ser utilizado para determinar o tipo de falha atravs de
procedimentos de KDD, aperfeioando assim o processo de busca e correo de
problemas eletromecnicos.

Desde o princpio da tecnologia de satlites, cientistas ambientais tentam

detectar manchas de leo a partir de imagens de satlite, com o intuito de alertar
e tomar providncias rapidamente contra desastres ambientais. Estas imagens
fornecem uma oportunidade para monitorar guas litorneas dia e noite,
independentemente de condies atmosfricas. Manchas de leo aparecem como
regies escuras na imagem cujo tamanho e forma modifica-se dependendo do
clima e condies martimas. Entretanto, outras regies negras semelhantes
podem ser causadas por fatores climticos, tais como ventos altos. Deteco de
manchas de leo um processo manual de alto custo, que requer pessoal
altamente treinado para avaliar cada regio na imagem. Sistemas de deteco
tm sido desenvolvidos para selecionar imagens para subseqente
processamento manual. Entretanto, necessrio ajust-los detalhadamente para
circunstncias distintas. KDD permite que estes sistemas sejam treinados para
fornecer padres de manchas e de ausncia delas, permitindo ainda ao usurio
controlar compromissos entre manchas no detectadas e falsos alarmes.

2. Tcnicas e Algoritmos
Bases de dados so altamente suscetveis a dados ruidosos (erros e valores estranhos),
incompletos (valores de atributos ausentes) e inconsistentes (discrepncias semnticas)
devido a seus tpicos volumes. Tcnicas de pr-processamento e transformao de
dados so aplicadas para aumentar a qualidade e o poder de expresso dos dados a
serem minerados. Estas fases tendem a consumir a maior parte do tempo dedicado ao
processo de KDD (aproximadamente 70%). A etapa de minerao de dados
responsvel pela seleo dos mtodos a serem utilizados para localizar padres nos
dados, com efetiva busca por padres de interesse numa forma particular de
representao, alm da busca pelo melhor ajuste dos parmetros do algoritmo para a
tarefa em questo. Esta etapa pressupe que os dados tenham uma boa qualidade
(limpos, sem inconsistncias, campos nulos etc.), alm de uma boa representao e
relevncia semntica (dados devidamente tratados, transformados e enriquecidos).
2.1. Pr-processamento de Dados
Rotinas de limpeza de dados tentam suprir valores ausentes, reduzir discrepncias de
valores ruidosos e corrigir inconsistncias. Para valores ausentes, algumas tcnicas
aplicveis so [Han & Kamber 2001]:

1 - Ignorar a tupla
2 - Suprir valores ausentes
a) manualmente;
b) atravs de uma constante global;
c) utilizando a mdia do atributo;
d) utilizando a mdia do atributo para todas as instncias da mesma classe;
e) com o valor mais provvel (regresso, inferncia etc.).
As tcnicas 2b, 2c, 2d e 2e podem "viciar" os dados. A tcnica 2e uma estratgia
interessante, pois em comparao com outros mtodos utiliza um maior nmero de
informaes dos dados disponveis.
Rudos nos dados so erros aleatrios ou varincias numa varivel mensurada. A
eliminao de rudos pode ser realizada atravs de:
1 - Interpolao;
2 - Agrupamento;
3 - Inspeo humana e computacional combinadas;
4 Regresso.
Alguns tipos de inconsistncias podem ser corrigidos manualmente atravs de
referncias externas. Rotinas de consistncia evitam a insero de dados incorretos
atravs da interface do banco de dados (infelizmente, a maioria dos softwares no so
projetados e desenvolvidos levando em conta KDD). Ferramentas de engenharia do
conhecimento podem detectar a violao de restries de dados. Tanto redundncias
como discrepncias podem ser combatidas atravs de dependncias funcionais.
2.2. Transformao de Dados
O processo de minerao geralmente demanda a integrao de dados (combinao de
diferentes bases de dados) e a transformao destes (modificaes de formato e
enriquecimento semntico).
No caso da integrao de dados, vrias fontes podem ser utilizadas (diferentes bancos
de dados, cubos de dados, flat files, arquivos XML etc.). Alguns tpicos relevantes
neste processo so [Han & Kamber 2001]:
1 - Integrao de esquemas - casamento de entidades relevantes do mundo real
(utilizao dos metadados);
2 - Redundncia de atributos (anlise de correlao - medida de quanto um atributo
implica em outro);
3 - Identificao e resoluo de valores de dados conflitantes (especialmente devido a
diferenas na representao, escala ou codificao);
Uma integrao de dados criteriosa pode reduzir e evitar redundncias e inconsistncias
no conjunto de dados resultante, aumentando a preciso e velocidade do processo de
minerao de dados.

No caso da transformao de dados, estes so modificados ou transformados em

formatos apropriados minerao:
1 - Agregao: gerao de totalizadores levando em conta determinados atributos ou
instncias. Por exemplo, vendas mensais, anuais, sazonais etc.;
2 - Generalizao: substituio de dados por conceitos de mais alto nvel. Idades, por
exemplo, podem ser representadas por faixas etrias, localidades por regies etc.;
3 - Normalizao: atributos so escalonados para uma faixa especfica como -1.0 a 1.0,
ou 0.0 a 1.0;
4 - Construo de atributos: novos atributos so construdos a partir de informaes prexistentes (ex.: classificao de crdito a partir de renda e histrico).
5 - Reduo de dados
a) Agregaes;
b) Reduo dimensional: deteco e remoo de atributos irrelevantes;
c) Compresso de dados: utilizao de mecanismos de codificao para reduzir o
tamanho do conjunto de dados;
d) Reduo numrica (instncias): amostragem, por exemplo.
2.3. Minerao de Dados
Etapas de minerao de dados utilizam tcnicas e algoritmos de diferentes reas do
conhecimento, principalmente inteligncia artificial (especialmente aprendizagem de
mquina), banco de dados (recursos para manipular grandes bases de dados) e
estatstica (comumente na avaliao e validao de resultados), conforme a Figura 2.
Uma questo que freqentemente surge a seguinte: porque no utilizar to somente os
conhecidos procedimentos estatsticos para obter informaes relevantes a partir de um
conjunto de dados?

Figura 2. Minerao de dados utiliza recursos de diferentes reas

Conforme mencionado, procedimentos estatsticos so utilizados nas etapas de KDD e

mais especificamente na minerao de dados. Entretanto, o volume, complexidade e
peculiaridades dos eventos e dos dados por eles originados impem severas limitaes a
metodologias puramente estatsticas, dentre elas:

Dados nem sempre possuem independncia estatstica entre eles, ou seja, muitos
domnios possuem inter-relao entre seus objetos e respectivos atributos,
comprometendo a aplicao de mtodos estatsticos;

A anlise estatstica demanda um grau de conhecimento e domnio desta rea

que apenas estatsticos e profissionais de reas correlatas possuem, restringindo
assim a atuao da grande maioria dos potenciais usurios de procedimentos
analticos;

Mtodos estatsticos manipulam muito bem dados numricos, mas no

manipulam bem valores simblicos, incompletos ou inconclusivos;

Estes mtodos so computacionalmente caros quando se trata de grandes bases

de dados.

Desta forma, percebe-se claramente que a minerao de dados possui grande relevncia,
contribuio e abrangncia no que diz respeito a aplicaes. Visando uma melhor
compreenso das tarefas, ser apresentado a seguir uma breve descrio dos principais
mtodos de minerao de dados utilizando aprendizagem de mquina.
A exemplificao de cada tpico toma por base recursos do Weka, uma ferramenta de
KDD que contempla uma srie de algoritmos de preparao de dados, de aprendizagem
de mquina (minerao) e de validao de resultados. Na seo 4 outros pontos do
software sero abordados.
2.3.1. Aprendizagem Supervisionada
Esta categoria de algoritmos possui esta denominao porque a aprendizagem do
modelo supervisionada, ou seja, fornecida uma classe qual cada amostra no
treinamento pertence. Estes algoritmos so preditivos, pois suas tarefas de minerao
desempenham inferncias nos dados com o intuito de fornecer previses ou tendncias,
obtendo informaes no disponveis a partir dos dados disponveis:

Classificao: atravs destes algoritmos supervisionados (com nfase na

preciso da regra) possvel determinar o valor de um atributo atravs dos
valores de um subconjunto dos demais atributos da base de dados. Por exemplo,
num conjunto de dados comerciais deseja-se descobrir qual o perfil dos clientes
que consomem cosmticos importados. Com classificadores pode-se inferir
(prever) que clientes do sexo feminino, com renda superior a R$ 1.500,00 e
com idade acima de 30 anos compram cosmticos importados. Neste caso, o
atributo compra cosmtico importado denominado classe, pois o atributo
alvo da classificao (cujos possveis valores, neste caso, so "sim" ou "no").
As formas mais comuns de representao de conhecimento dos algoritmos de
classificao so regras e rvores. Os algoritmos Id3, C45, J48, ADTree,
UserClassifier, PredictionNode, Splitter, ClassifierTree, M5Prime, por exemplo,
geram como resultado rvores de classificao (Figura 3), enquanto que outros
como Prism, Part, OneR geram regras de classificao. Outra opo seria a
representao atravs de tabela de deciso implementada, por exemplo, pelo
algoritmo DecisionTable. Modelos matemticos, de regresso e redes neurais
tambm representam resultados de algoritmos como SMO, LinearRegression,
Neural, dentre outros.

Figura 3. Exemplo de rvore de classificao no Weka [Waikato 2004]

Seleo de atributos: em bases de dados encontram-se atributos que tm um

peso maior ou at determinante nas tarefas de minerao de dados. Por exemplo,
no caso do cliente, a sua renda com certeza um atributo determinante nos seus
hbitos de consumo. Com algoritmos de seleo de atributos possvel
determinar os atributos de fato relevantes para a minerao dos dados,
separando-os dos atributos irrelevantes, como por exemplo nome do cliente (que
neste caso no influencia seus hbitos de consumo). O Weka disponibiliza
vrios algoritmos para esta categoria de minerao, dentre eles InformationGain,
PrincipalComponents e ConsistencyEval.

2.3.2. Aprendizagem No-Supervisionada

Nestes algoritmos o rtulo da classe de cada amostra do treinamento no conhecida, e
o nmero ou conjunto de classes a ser treinado pode no ser conhecido a priori, da o
fato de ser uma aprendizagem no-supervisionada. Alm disso so tambm descritivos,
pois descrevem de forma concisa os dados disponveis, fornecendo caractersticas das
propriedades gerais dos dados minerados:

Associao: quando a classe de uma tarefa de minerao no determinada

como no caso da classificao, uma boa opo o algoritmo de associao
Apriori do Weka. Ele capaz de gerar regras do tipo: clientes do sexo
masculino, casados, com renda superior a R$ 1.800,00 tm o seguinte hbito de
consumo: roupas de grife, perfumes nacionais, relgios importados. Esta regra
teria a seguinte representao:
sexo(X,[masc]) ^ est_civil(X,[casado]) ^
renda(X,[1800,])

consome(X,[roupa_grife,
perfume_nacional,
relgio_importado]). Neste caso, o prprio algoritmo elege os atributos
determinantes (lado esquerdo da regra) e os atributos resultantes (lado direito)
na tarefa revelando associaes entre valores dos atributos, tendo o algoritmo
sua nfase no compromisso entre preciso e cobertura (Figura 4).

Clustering: em algumas situaes, torna-se necessrio verificar como as

instncias de uma determinada base de dados se agrupam devido a
caractersticas intrnsecas de seus atributos, sem que seja definida uma classe
para a tarefa. A partir da definio de uma mtrica de similaridade para cada
atributo e uma funo de combinao destas mtricas em uma mtrica global, os
objetos so agrupados com base no princpio da maximizao da similaridade
intraclasse e da minimizao da similaridade interclasse. Weka possui os

algoritmos Cobweb, Simple Kmeans e Em para tarefas que demandam a

descoberta de padres de agrupamento nos dados. Como exemplo podemos
utilizar algoritmos de clustering para identificar subgrupos homogneos de
clientes de uma determinada loja.

Figura 4. Exemplos de regras de associao no Weka [Waikato 2004])

2.3.3. Validao de Resultados

muito importante que os resultados e modelos possam ser avaliados e comparados.
Alguns elementos relevantes neste domnio: teste e validao, que fornecem parmetros
de validade e confiabilidade nos modelos gerados (cross validation, suplied test set, use
training set, percentage split); indicadores estatsticos para auxiliar a anlise dos
resultados (matriz de confuso, ndice de correo e incorreo de instncias mineradas,
estatstica kappa, erro mdio absoluto, erro relativo mdio, preciso, F-measure, dentre
outros).
2.3.4. Medidas de Interesse
Diferentes fatores retratam a qualidade dos resultados obtidos a partir de tarefas de
minerao de dados. Neste ponto, abordaremos duas medidas de interesse muito
relevantes na avaliao de regras:
Confidncia:
Seja uma regra "A => B".
A confidncia da regra dada por:
Confidncia (A => B) = #_Tuplas_Contendo_Tanto_A_Como_B
#_Tuplas_Contendo_A
Exemplo: Uma confidncia de 85% (0,85) da regra compra (mulher, computadores) =>
compra (mulher, software) significa que 85% das mulheres que compram computadores
tambm compram software.
Suporte:
O suporte da regra dado por:
Suporte (A => B) = #_Tuplas_Contendo_Tanto_A_Como_B
#_Total_De_Tuplas

Ou seja, um suporte de 5% significa que de todas as transaes comerciais realizadas,

5% so efetuadas por mulheres que comprando computador tambm compram
softwares.
2.3.5. Critrios de comparao
Critrios para comparar mtodos e resultados de minerao de dados permitem avaliar e
optar pelo melhor custo/benefcio a ser adotado para a tarefa em questo. Alguns
critrios relevantes neste contexto so:

Preciso avaliativa ou preditiva: habilidade do modelo para avaliar ou prever

corretamente classes, agrupamentos, regras;

Velocidade: refere-se ao custo computacional da gerao e utilizao do

modelo;

Robustez: habilidade do modelo para avaliar ou prever corretamente utilizando

dados ruidosos ou com valores ausentes;

Escalabilidade: capacidade de construir modelos eficientemente a partir de

grandes volumes de dados;

Interpretabilidade: nvel de compreenso fornecido pelo modelo.

3. Aplicaes
O nmero de pesquisadores e profissionais que utilizam tcnicas de minerao de dados
ainda muito pequeno no Brasil, haja vista o potencial e demanda desta tecnologia.
Tanto no campo acadmico como no corporativo, os bancos de dados abarrotados de
informaes so geralmente utilizados para consultas triviais, e muitos dados preciosos
fadados ao backup. O grande potencial do conhecimento intrnseco nestas montanhas de
dados continua ignorado ou inacessvel por muitas instituies. Entretanto, diferentes
aplicaes tm atestado a relevncia e poder desta tecnologia.
3.1. Aplicaes Acadmicas
Na rea acadmica, a demanda por novas e poderosas abordagens de minerao de
dados est presente em muitos segmentos de pesquisa, dentre eles:

Minerao em datawarehouses: repositrios com dados de boa qualidade,

integrados, estratgicos, histricos, disponibilidade de metadados, infraestrutura
de processamento (inclusive ferramentas avanadas);

Minerao em bancos de dados espaciais: aplicvel sobre elementos

geogrficos, imagens de sensoriamento remoto, imagens mdicas, layout de
chips VLSI etc. No caso de dados geogrficos (Figura 5), aplicaes relevantes
contemplam estudos ambientais, vigilncia territorial, deteco de
desmatamentos, planejamento urbano etc.;

Minerao de dados multimdia: extrao de padres relevantes a partir de

animaes, udio, vdeo, imagens e textos (busca por similaridades, anlise
multidimensional, classificatria, preditiva, dentre outros);

Figura 5. Minerao de dados geogrficos (GeoMiner [Han et al. 1997])

Minerao de dados (sries) temporais: mercado de aes, processos de

produo, experimentos cientficos, tratamentos mdicos, anlises de tendncias,
de histricos e de similaridades. Envolve ainda a avaliao de eventos cclicos,
sazonais e aleatrios;

Minerao de textos: muitas informaes esto disponveis em documentos

(artigos de jornais ou cientficos, livros, e-mails, pginas Web etc.). Dentre as
abordagens encontramos a recuperao de informaes e a aplicao de tcnicas
de minerao em informao semi-estruturada;

Minerando a Web: minerao de contedo, uso e estrutura. Configura-se num

repositrio imenso, distribudo e global que contem uma ampla e rica coleo de
hiperlinks. Seu tamanho, complexidade e dinamismo oferecem grandes desafios
cientficos. Os engenhos de busca (Google, por exemplo) subsidiam abordagens
interessantes.

3.2. Aplicaes Corporativas

Atentas ao poder da informao que coletam a todo instante (e em volumes imensos), as
empresas investem continuamente em novas tecnologias que agreguem valor ao
negcio. O efetivo emprego de tcnicas de minerao de dados atinge diferentes
empreendimentos:

Minerando o DNA: atividades de mapeamento de seqncias (padres de

seqenciamento em larga escala), busca por similaridades e comparaes, e
identificao de seqncias gentica co-ocorrentes tm encontrado na minerao
de dados poderosos recursos computacionais;

Minerando dados mdicos: hospitais, clnicas e planos de sade, cada vez mais
interessados no aperfeioamento de procedimentos (diagnsticos e tratamentos),
buscam em KDD meios para maximizar recursos e resultados, preferencialmente
com reduo de custos. Exemplos: minerao de imagens tomogrficas, preciso
na prescrio de exames e procedimentos;

Dados estruturais (grafos): muitas bases de dados possuem caractersticas

estruturais, cujos dados so compostos por segmentos e relacionamentos entre
estes. A minerao de subestruturas busca subgrafos semelhantes num conjunto

de grafos. Subestruturas descobertas so utilizadas para comprimir os dados

originais, permitindo abstrair estruturas detalhadas e representar conceitos
estruturais nestes dados. Assim, uma subestrutura descoberta usada para
simplificar os dados, substituindo instncias da subestrutura por um ponteiro
para esta nova subestrutura descoberta, conforme exemplo da Figura 6.

Figura 6. Minerao de grafos (estrutura atmica - borracha) [Holder et al. 2002]

Dados financeiros: o volume de interesses e poder atrelados a ativos financeiros

tm despertado a ateno de muitos para informaes estratgicas deste
domnio. Aplicaes de mineraes de dados vo da deteco de fraudes e
lavagem de dinheiro analise de mercados, tendncias e fomento especulativo.
Anlise de crdito de consumidores e classificao de clientes para estratgias
de marketing figuram dentre as aplicaes mais comuns.

Dados comerciais: empresas de varejo, especialmente as grandes redes,

contemplam minas de ouro nos seus grandes bancos de dados. Anlise de
vendas, comportamento da clientela, giro de produtos, fenmenos sazonais e
preferncias regionais motivam grandes investimentos em minerao de dados.
Alm disso, possvel avaliar campanhas publicitrias, potencializar o comrcio
eletrnico, avaliar e incentivar fidelidade de clientes.

Telecomunicaes: grande demanda na deteco de invases e comportamentos

anmalos em sistemas, avaliao de uso e trfego, anlise de padres de
consumo.

3.3. Tendncias, Desafios e Perspectivas

Observando as aplicaes acadmicas e corporativas acima, possvel citar algumas das
fortes tendncias da rea, bem como os desafios correlatos e as perspectivas da
minerao de dados:

Os casos citados e outros possuem potenciais no explorados. O volume e

complexidade dos dados, aliados peculiaridade das respectivas operaes,
revelam em cada aplicao um grande conjunto de oportunidades para
atividades de pesquisa que aperfeioem e inovem mtodos e tecnologias
[Sarawagi et al. 1998];

Considerando o volume de dados (que em alguns casos mostra-se espantoso) e a

demanda por alto desempenho, verifica-se que novos mtodos escalveis de

minerao muito contribuiro com o desenvolvimento da rea [Agrawal &

Srikant 1994];

O alto nvel de integrao de plataformas e de bases de dados remotas demanda

uma igual integrao das ferramentas de minerao de dados com diferentes
sistemas de bancos de dados, datawarehouses e Web [Silva & Robin 2002];

Devido iteratividade e interatividade das tarefas, linguagens que especifiquem

consultas e processos so muito bem vindas em ambientes de KDD, uma vez
que a utilizao de diferentes ferramentas, o controle do fluxo do processo e o
gerenciamento do conhecimento demandam esforo extra na ausncia dos
recursos providos por uma linguagem [Silva & Robin 2004];

Visual data mining: concerne ao emprego de recursos de computao grfica

(CG) para evidenciar padres em bases de dados. A evoluo de ambas as reas
(KDD e CG) amplia as oportunidades de relevantes trabalhos neste domnio
[DBMiner 2000] (Figura 7);

Figura 7. Exemplos de regras de associao [DBMiner 2000]

Minerao de dados complexos e semi-estruturados: alm das gigantescas bases

de dados convencionais, repositrios de dados no convencionais (imagens,
textos, grafos, Web, multimdia etc.) apresentam-se como grandes motivaes
para pesquisas e projetos inovadores [Simoff et al. 2002];

Proteo de privacidade e segurana de dados: os freqentes ataques a sistemas

computacionais, especialmente atravs da Web, oferecem um excelente campo
de aplicao para mtodos de minerao de dados em tempo real como, por
exemplo, avaliao de comportamento e padres de uso.

4. Weka: Um Software GNU para Minerao de Dados

Waikato Environment for Knowledge Analysis WEKA [Waikato 2004, Witten &
Frank 2000] uma ferramenta de KDD que contempla uma srie de algoritmos de
preparao de dados, de aprendizagem de mquina (minerao) e de validao de
resultados. WEKA foi desenvolvido na Universidade de Waikato na Nova Zelndia,
sendo escrito em Java e possuindo cdigo aberto disponvel na Web (a atual verso 3.4.3 - demanda Java 1.4). A equipe de desenvolvimento tem lanado periodicamente
correes e releases do software, alm de manter uma lista de discusses acerca da

ferramenta. Grande parte de seus componentes de software so resultantes de teses e

dissertaes de grupos de pesquisa desta universidade. Inicialmente, o desenvolvimento
do software visava a investigao de tcnicas de aprendizagem de mquina, enquanto
sua aplicao inicial foi direcionada para a agricultura, uma rea chave na economia da
Nova Zelndia.
O sistema possui uma interface grfica amigvel e seus algoritmos fornecem relatrios
com dados analticos e estatsticos do domnio minerado. Grande parte de seus recursos
acessvel via sua GUI, sendo que os demais podem ser utilizados programaticamente
atravs de APIs. Foi disponibilizada tambm uma abrangente documentao online do
cdigo fonte. Por ser escrito em Java, o cdigo pode ser rodado em diferentes
plataformas, conferindo uma boa portabilidade ao software. Uma limitao da
ferramenta a sua escalabilidade, uma vez que suas verses atuais limitam o volume de
dados a ser manipulado dimenso de memria principal. Mesmo assim, possvel
minerar bases de dados relevantes, tornando o pacote atrativo para um grande nmero
de aplicaes (componentes do Weka tm sido utilizados em um considervel nmero
de projetos). Algumas funcionalidades do software so introduzidas na seo 2.3.
4.1. Interface e Funcionalidades
A interface grfica do Weka disponibiliza grande parte de suas funcionalidades.
Embora seja intuitiva, para uma abordagem inicial faz-se necessrio reconhecer alguns
elementos estratgicos da GUI Explorer, cujo guia do usurio encontra-se em
http://aleron.dl.sourceforge.net/sourceforge/weka/ExplorerGuide.pdf
Esta primeira tela (Figura 8) apresenta elementos de pr-processamento:

Figura 8. Interface do Weka (Preprocess)

(A) Open File, Open URL, Open DB: atravs destes botes possvel
selecionar, respectivamente, bases de dados a partir de flat files locais (formato
.arff), bases remotas (Web), e diferentes bancos de dados (via JDBC). Para

acessar dados no MS Access, um roteiro de configurao est disponvel em

http://www.cs.waikato.ac.nz/~ml/weka/opening_windows_DBs.html . Uma
breve descrio do formato .arff pode ser encontrada em
http://www.cs.waikato.ac.nz/~ml/weka/arff.html ;

(B) No boto filter possvel efetuar sucessivas filtragens de atributos e

instncias na base de dados previamente carregada (seleo, discretizao,
normalizao, amostragem, dentre outros);

(C) Navegando interativamente pelos atributos (quadro Attributes) possvel

obter informaes quantitativas e estatsticas sobre os mesmos (quadro Selected
attribute);

Nesta interface, possvel desenvolver tarefas de classificao (Figura 9):

Figura 9. Classificao no Weka

(A) Seleo e parametrizao do algoritmo a ser utilizado (Id3, C45, J48,

BayesNet, Prism, Part etc);

(B) Permite selecionar a opo de teste e validao do modelo gerado (o prprio

conjunto de dados do treinamento, um outro conjunto s para testes, crossvalidation, separar parte do conjunto de treinamento para teste);

(C) Seleo do atributo classe para a tarefa de classificao;

(D) Resumo da tarefa efetuada, com dados estatsticos, modelo, matriz de

confuso etc.

As opes Cluster, Associate e Select attributes possuem interfaces semelhantes,

fornecendo algumas opes peculiares a estas tarefas. No caso de tarefas de
agrupamento (Cluster) a interface fornece a opo de ignorar atributos, pois muito
comum que neste tipo de tarefa um ou mais atributos gerem vis ou rudos no processo
de agrupamento. J na seleo de atributos (Select attributes), possvel escolher o

algoritmo avaliador de atributos e o mtodo de busca para a tarefa (Figura 10). Faz-se
necessrio salientar que alguns avaliadores demandam mtodos de busca especficos.

Figura 10. Seleo de atributos

4.2 Instalao, Configurao e Documentao do Weka

A instalao do software simples. Basta baixar o pacote de [Waikato 2004] e executar
o instalador. Atividades de configurao podem ser encaradas como a prpria
parametrizao dos algoritmos utilizados. O processo de escolha de algoritmos e a
respectiva parametrizao destes constituem um dos desafios na minerao de dados,
pois dependem muito do conhecimento de cada algoritmo, da experincia do minerador
e do domnio do especialista da rea minerada (dados comerciais, cientficos etc.). Na
documentao abordada a seguir possvel encontrar informaes que muito auxiliaro
nesta tarefa.
Diferentes recursos de documentao podem ser encontrados no software e no site do
projeto. Na instalao do Weka um pacote de documentao disponibilizado, o qual
contem informaes da API (Figura 11). No pacote ainda est incluso um tutorial, que
na realidade o oitavo captulo do livro escrito pelos lderes do projeto [Witten & Frank
2000].
No site do Weka diferentes recursos agregam informaes e ajuda ao usurio (Figura
12):

Pgina de trouble-shooting;

Frum de discusses (com arquivo das mensagens);

Guia explicativo do formato ARFF adotado pelo Weka (e outros softwares);

Introduo ao uso do Weka a partir da linha de comando (chamando diretamente

componentes Java);

Guia do usurio para a interface do Explorer;

Descrio do pacote Bayes Net;

Tutorial do Experimenter;

Descrio de como carregar bases de dados do MS Access para o Weka.

So disponibilizadas ainda bases de dados para testes e aprendizagem, alm de uma lista
de projetos relevantes relacionados ao Weka.

Figura 11. Documentao da API

Figura 12. Recursos e ajuda no site do Weka

4.3 Explorando Potencialidades

Por mais aplicada que seja a anlise documental do Weka, torna-se imprescindvel a
plena utilizao do software. Neste minicurso, com a finalidade de fixar os conceitos
apresentados e propiciar uma melhor percepo do potencial desta recente e desafiadora
rea de pesquisa, atividades de minerao de dados sero realizadas diretamente no
Weka visando um enfoque prtico e aplicado.

5. Kdnuggets: Um Portal de Recursos para KDD

O Kdnuggets [Kdnuggets 2004] um portal com informaes e recursos pra vrios
tpicos ligados a KDD e suporte deciso, com contedos e/ou links para artigos,
softwares, cursos, publicaes, empresas do ramo, notcias, encontros e congressos,
oportunidades de trabalho, dentre outros (Figura 13).

Figura 13. Portal Kdnuggets

6. Consideraes Finais
Minerao de dados, e conseqentemente KDD, possuem uma vasta aplicao nos mais
diferentes segmentos, tanto acadmicos como corporativos, alm de uma srie de
desafios relevantes que podem motivar excelentes trabalhos cientficos.
Este minicurso no esgota em momento algum os diferentes tpicos da minerao de
dados, mas antes procura fornecer uma viso geral do assunto bem como seus
fundamentos, apresentando ainda diferentes reas de pesquisa e aplicao desta
tecnologia.
O avano tecnolgico e a oferta de ferramentas no dispensam de forma alguma o
especialista do domnio minerado. A experincia profissional, a convivncia com os
processos e a leitura dos padres descobertos so atributos que propiciam ao(s)
minerador(es) amplas chances de sucesso nos processos de KDD.

O breve contato com o software Weka permite que algumas tarefas de minerao (e
KDD) sejam de fato desenvolvidas, fixando conceitos e apresentando uma ferramenta
de qualidade e de cdigo aberto, possibilitando ainda a quebra de paradigmas em
relao minerao de dados.
Aqueles que de fato se identificarem com esta rea de pesquisa devem continuar a
explorao do Weka e de outras ferramentas, buscando nas referncias contedos e
subsdios para ampliar o conhecimento e a viso crtica deste promissor segmento da
computao. A partir deste ponto, o desenvolvimento de excelentes projetos,
dissertaes, teses e aplicaes ser uma conseqncia natural do envolvimento
acadmico e da dedicao pessoal.

Referncias
Agrawal, R.; Srikant, R. Fast algorithms for mining association rules in large
databases. Proceedings of the International Conference on Very Large Databases,
Santiago, Chile, 1994
Dbminer Technology Inc. DBMiner Interprise 2.0 (2000). Disponvel no site da
DBMiner Technology. URL: http://www.dbminer.com/
Fayyad, U. M.; Piatesky-Shapiro, G.; Smyth, P. From Data Mining to Knowledge
Discovery: An Overview. In: Advances in Knowledge Discovery and Data Mining,
AAAI Press, 1996.
Han, J.; Koperski, K.; Stefanovic, N. GeoMiner: A System Prototype for Spatial Data
Mining, ACM SIGMOD International Conference on Management of Data,
Arizona, 1997.
Han, J.; Kamber, M. Data Mining: Concepts and Techniques. Morgan Kaufmann, 2001.
Holder, L.; Cook, D.; Gonzalez, J.; Jonyer, I. Structural Pattern Recognition in Graphs,
in Pattern Recognition and String Matching, Kluwer Academic Publishers, 2002.
Kdnuggets. Data Mining and Knowledge Discovery. Disponvel no site da Kdnuggets
(2004). URL: http://www.kdnuggets.com
Sarawagi, S.; Agrawal, R.; Megiddo, N. Discovery-Driven Exploration of OLAP Data
Cubes. IBM Almaden Research Center, 1998.
Silva, M. P. S.; Robin, J. R. SKDQL Uma Linguagem Declarativa de Especificao
de Consultas e Processos para Descoberta de Conhecimento em Bancos de Dados e
sua Implementao (2002). Dissertao de Mestrado. UFPE, 2002.
Silva, M. P. S.; Robin, J. R. SKDQL: A Structured Language to Specify Knowledge
Discovery Processes and Queries (2004). XVII Brazilian Symposium on Artificial
Intelligence - SBIA'04.
Simoff, S.; Djeraba, C.; Zaiane, O. Multimedia Data Mining between Promisses and
Problems (2002). SIGKDD Explorations.
University of Waikato. Weka 3 Machine Learning Software in Java. Disponvel no
site da University of Waikato (2004). URL: http://www.cs.waikato.ac.nz/ml/weka
Witten, I.; Frank, E. Data Mining Practical Machine Learning Tools. Morgan
Kaufmann, 2000.