Machine Translated by Google

Informatica 31 (2007) 249-268 249

Aprendizado de máquina supervisionado: uma revisão da classificação

Técnicas
SB Kotsiantis
Departamento de Ciência da Computação e Tecnologia
Universidade do Peloponeso, Grécia End of
Karaiskaki, 22100 , Tripolis GR.
Tel: +30 2710 372164 Fax:
+30 2710 372160 E-mail:
sotos@math.upatras.gr

Papel de visão geral

Palavras-chave: classificadores, técnicas de mineração de dados, análise inteligente de dados, algoritmos de aprendizado

Recebido: 16 de julho de 2007

O aprendizado de máquina supervisionado é a busca por algoritmos que raciocinam a partir de instâncias fornecidas externamente para
produzir hipóteses gerais, que então fazem previsões sobre instâncias futuras. Em outras palavras, o objetivo do aprendizado supervisionado
é construir um modelo conciso da distribuição de rótulos de classe em termos de recursos preditores. O classificador resultante é então
usado para atribuir rótulos de classe às instâncias de teste onde os valores dos recursos preditores são conhecidos, mas o valor do rótulo
de classe é desconhecido. Este artigo descreve várias técnicas de classificação de aprendizado de máquina supervisionado. Obviamente,
um único artigo não pode ser uma revisão completa de todos os algoritmos de classificação de aprendizado de máquina supervisionado
(também conhecidos como algoritmos de classificação por indução), mas esperamos que as referências citadas cubram as principais
questões teóricas, orientando o pesquisador em direções de pesquisa interessantes e sugerindo possíveis combinações de viés que ainda
precisam ser exploradas.

Povzetek: Podan je pregled metód strojnega uÿenja.

1. Introdução
Existem várias aplicações para Aprendizado de Máquina (ML), sendo a mais
significativa delas a mineração de dados.
As pessoas costumam cometer erros durante as análises ou, possivelmente,
ao tentar estabelecer relacionamentos entre vários recursos. Isso torna difícil
para eles encontrar soluções para certos problemas.
Vários aplicativos de ML envolvem tarefas que podem ser configuradas
como supervisionadas. No presente artigo, nos concentramos nas técnicas
necessárias para fazer isso. Em particular, este trabalho está preocupado
com problemas de classificação em que a saída de instâncias admite apenas
valores discretos e não ordenados.

Muitas vezes, o aprendizado de máquina pode ser aplicado com sucesso a

esses problemas, melhorando a eficiência dos sistemas e os projetos das
máquinas.
Cada instância em qualquer conjunto de dados usado por algoritmos de
aprendizado de máquina é representada usando o mesmo conjunto de recursos.
As feições podem ser contínuas, categóricas ou binárias. Se as instâncias
são fornecidas com rótulos conhecidos (as saídas corretas correspondentes),
o aprendizado é chamado de supervisionado (consulte a Tabela 1), em
contraste com o aprendizado não supervisionado, em que as instâncias não Tabela 1. Instâncias com rótulos conhecidos (as saídas corretas
são rotuladas. Ao aplicar esses algoritmos não supervisionados (clustering), correspondentes)

os pesquisadores esperam descobrir classes de itens desconhecidas, mas

úteis (Jain et al., 1999).
Outro tipo de aprendizado de máquina é o aprendizado por reforço (Barto &
Sutton, 1997). A informação de treinamento fornecida ao sistema de
aprendizagem pelo ambiente (treinador externo) está na forma de um sinal
de reforço escalar que constitui uma medida de quão bem o sistema opera.
O aprendiz não é informado sobre quais ações tomar, mas deve descobrir
quais ações rendem a melhor recompensa, tentando cada ação por vez.
Limitamos nossas referências a periódicos arbitrados recentes, livros
publicados e conferências. Além disso, adicionamos algumas referências
sobre o trabalho original que iniciou a linha de pesquisa em questão. Uma
breve revisão do que o ML inclui pode ser encontrada em (Dutton & Conroy,
1996). De Mantaras e Armengol (1998) também apresentaram uma pesquisa
histórica de classificadores de aprendizado baseados em lógica e instância.
O leitor deve ser advertido de que um único artigo não pode ser um
Machine Translated by Google
250 Informatica 31 (2007) 249–268
revisão abrangente de todos os algoritmos de aprendizado de
classificação. Em vez disso, nosso objetivo foi fornecer uma amostra
representativa das linhas de pesquisa existentes em cada técnica
de aprendizagem. Em cada uma de nossas áreas listadas, há muitos
outros documentos que detalham de forma mais abrangente o
trabalho relevante.
Nossa próxima seção aborda questões abrangentes de aprendizado
de máquina supervisionado, como pré-processamento de dados e
seleção de recursos. As técnicas lógicas/simbólicas são descritas
na seção 3, enquanto as técnicas baseadas em perceptron são
analisadas na seção 4. As técnicas estatísticas para ML são
abordadas na seção 5. A seção 6 lida com aprendizes baseados em
instâncias, enquanto a seção 7 lida com a mais nova técnica
supervisionada de ML— Support Vector Machines (SVMs). Na seção
8, algumas orientações gerais são dadas sobre a seleção do
classificador. Por fim, a última seção conclui este trabalho.
2 Questões gerais de algoritmos de aprendizado
supervisionado Aprendizado de
máquina indutivo é o processo de aprender um conjunto de
regras de instâncias (exemplos em um conjunto de treinamento) ou,
de maneira mais geral, criar um classificador que pode ser usado
para generalizar a partir de novas instâncias. O processo de
aplicação de ML supervisionado a um problema do mundo real é
descrito na Figura 1.
Problema
Identificação dos
dados
necessários
Pré-processamento de dados
Definição de
conjunto de treinamento
Seleção de
algoritmo
Ajuste de parâmetros Treinamento
Avaliação
com conjunto de teste
Não Sim
OK?
Figura 1. O processo de ML supervisionado
O primeiro passo é coletar o conjunto de dados. Se um
especialista necessário estiver disponível, ele poderá sugerir quais
campos (atributos, recursos) são os mais informativos. Caso
contrário, o método mais simples é o de “força bruta”, que significa
medir tudo o que está disponível na esperança de que os recursos
corretos (informativos, relevantes) possam ser isolados.
No entanto, um conjunto de dados coletados pelo método de “força
bruta” não é diretamente adequado para indução. Na maioria dos
casos, contém ruído e valores de recursos ausentes e, portanto,
requer um pré-processamento significativo (Zhang et al., 2002).
SB Kotsiantis
A segunda etapa é a preparação e pré-processamento dos
dados. Dependendo das circunstâncias, os pesquisadores têm uma
série de métodos para escolher para lidar com dados perdidos
(Batista & Monard, 2003). Hodge & Austin (2004) introduziram
recentemente uma pesquisa de técnicas contemporâneas para
detecção de outliers (ruído).
Esses pesquisadores identificaram as vantagens e desvantagens
das técnicas. A seleção de instância não é usada apenas para lidar
com o ruído, mas também para lidar com a inviabilidade de aprender
com conjuntos de dados muito grandes.
A seleção de instâncias nesses conjuntos de dados é um problema
de otimização que tenta manter a qualidade da mineração enquanto
minimiza o tamanho da amostra (Liu e Motoda, 2001). Ele reduz os
dados e permite que um algoritmo de mineração de dados funcione
e trabalhe de forma eficaz com conjuntos de dados muito grandes.
Há uma variedade de procedimentos para amostrar instâncias de
um grande conjunto de dados (Reinartz, 2002).
A seleção de subconjunto de recursos é o processo de
identificar e remover o máximo possível de recursos irrelevantes e
redundantes (Yu & Liu, 2004). Isso reduz a dimensionalidade dos
dados e permite que os algoritmos de mineração de dados operem
de maneira mais rápida e eficaz. O fato de muitos recursos
dependerem uns dos outros muitas vezes influencia indevidamente
a precisão dos modelos de classificação de ML supervisionados.
Esse problema pode ser resolvido construindo novos recursos a
partir do conjunto básico de recursos (Markovitch & Rosenstein,
2002). Essa técnica é chamada de construção/transformação de
recursos. Esses recursos recém-gerados podem levar à criação de
classificadores mais concisos e precisos. Além disso, a descoberta
de características significativas contribui para uma melhor
compreensibilidade do classificador produzido e uma melhor
compreensão do conceito aprendido.
2.1 Seleção do algoritmo A escolha
de qual algoritmo de aprendizado específico devemos usar é
uma etapa crítica. Uma vez que o teste preliminar é considerado
satisfatório, o classificador (mapeamento de instâncias não rotuladas
para classes) está disponível para uso rotineiro. A avaliação do
classificador geralmente é baseada na precisão da previsão (a
porcentagem de previsão correta dividida pelo número total de
previsões). Existem pelo menos três técnicas que são usadas para
calcular a precisão de um classificador. Uma técnica é dividir o
conjunto de treinamento usando dois terços para treinamento e o
outro terço para estimar o desempenho. Em outra técnica, conhecida
como validação cruzada, o conjunto de treinamento é dividido em
Classificador
subconjuntos mutuamente exclusivos e de tamanhos iguais e para
cada subconjunto o classificador é treinado na união de todos os
outros subconjuntos. A média da taxa de erro de cada subconjunto
é, portanto, uma estimativa da taxa de erro do classificador.
A validação leave-one-out é um caso especial de validação cruzada.
Todos os subconjuntos de teste consistem em uma única instância.
Este tipo de validação é, obviamente, mais caro computacionalmente,
mas útil quando a estimativa mais precisa da taxa de erro de um
classificador é necessária.
Se a avaliação da taxa de erro for insatisfatória, devemos
retornar a uma etapa anterior do processo de ML supervisionado
(conforme detalhado na Figura 1). Uma variedade de fatores deve
ser examinada: talvez características relevantes para o problema sejam
Machine Translated by Google

APRENDIZADO DE MÁQUINA SUPERVISIONADO: UMA REVISÃO DE... Informatica 31 (2007) 249–268 251

não está sendo usado, um conjunto de treinamento maior é necessário, a 3 Algoritmos baseados em lógica
dimensionalidade do problema é muito alta, o algoritmo selecionado é
inadequado ou o ajuste de parâmetros é necessário.
Nesta seção vamos nos concentrar em dois grupos de métodos lógicos
Outro problema pode ser que o conjunto de dados esteja desequilibrado
(simbólicos) de aprendizado: árvores de decisão e classificadores baseados
(Japkowicz & Stephen, 2002).
em regras.
Um método comum para comparar algoritmos de ML supervisionados
é realizar comparações estatísticas das precisões de classificadores
treinados em conjuntos de dados específicos. Se tivermos dados suficientes, 3.1 Árvores de decisão
podemos amostrar vários conjuntos de treinamento de tamanho N, executar
Murthy (1998) forneceu uma visão geral do trabalho em árvores de
os dois algoritmos de aprendizado em cada um deles e estimar a diferença
decisão e uma amostra de sua utilidade para iniciantes, bem como para
de precisão para cada par de classificadores em um grande conjunto de
profissionais no campo de aprendizado de máquina. Assim, neste trabalho,
teste.
além de uma breve descrição das árvores de decisão, faremos referência a
A média dessas diferenças é uma estimativa da diferença esperada no erro
alguns trabalhos mais recentes do que os do artigo de Murthy, bem como a
de generalização em todos os possíveis conjuntos de treinamento de
alguns artigos muito importantes que foram publicados anteriormente.
tamanho N, e sua variância é uma estimativa da variância do classificador
no conjunto total.
Árvores de decisão são árvores que classificam instâncias classificando-as
Nosso próximo passo é realizar o teste t pareado para verificar a hipótese com base em valores de recursos. Cada nó em uma árvore de decisão
nula de que a diferença média entre os classificadores é zero. Este teste
representa uma característica em uma instância a ser classificada, e cada
pode produzir dois tipos de erros. O erro tipo I é a probabilidade de que o
ramo representa um valor que o nó pode assumir. As instâncias são
teste rejeite a hipótese nula incorretamente (ou seja, encontre uma diferença
classificadas começando no nó raiz e classificadas com base em seus
“significativa” embora não haja nenhuma). O erro tipo II é a probabilidade
valores de recurso. A Figura 2 é um exemplo de árvore de decisão para o
de não rejeitar a hipótese nula, quando na verdade existe uma diferença. O
conjunto de treinamento da Tabela 2.
erro Tipo I do teste estará próximo ao nível de significância escolhido.

em 1
Na prática, no entanto, muitas vezes temos apenas um conjunto de
dados de tamanho N e todas as estimativas devem ser obtidas a partir
desse único conjunto de dados. Diferentes conjuntos de treinamento são a1 b1 c1
obtidos por subamostragem, e as instâncias não amostradas para
treinamento são usadas para teste. Infelizmente, isso viola a suposição de
at2 Não Não
independência necessária para o teste de significância adequado. A
consequência disso é que os erros do Tipo I excedem o nível de significância.
Isso é problemático porque é importante para o pesquisador ser capaz de
a2 b2 c2
controlar os erros do Tipo I e conhecer a probabilidade de rejeitar
incorretamente a hipótese nula. Várias versões heurísticas do teste t foram
desenvolvidas para aliviar esse problema (Dietterich, 1998), (Nadeau e Sim às 3 at4

Bengio, 2003).

a3 b3 a4 b4

Idealmente, gostaríamos que o resultado do teste fosse independente

da partição particular resultante do processo de randomização, pois isso Sim Não Sim Não
facilitaria muito a replicação de resultados experimentais publicados na
literatura. Entretanto, na prática sempre há certa sensibilidade ao
Figura 2. Uma árvore de decisão
particionamento utilizado. Para medir a replicabilidade, precisamos repetir
o mesmo teste várias vezes nos mesmos dados com diferentes
particionamentos aleatórios – geralmente dez repetições – e contar quantas at1 at2 at3 at4 a3 a4 a3 b4 Aula

vezes o resultado é o mesmo (Bouckaert, 2003). a1 a2 a3 a4 b3 b4 a3 a4 Sim

a1 a2 a3 b4 b3 b4 b3 b4 Sim
a1 b2 Tabela 2. Conjunto Sim
A classificação supervisionada é uma das tarefas mais frequentemente a1 b2 de treinamento Não
realizadas pelos chamados Sistemas Inteligentes. a1 c2 Sim
Assim, um grande número de técnicas tem sido desenvolvido com base em a1 c2 Não
Inteligência Artificial (técnicas Lógicas/Simbólicas), técnicas baseadas em b1 b2 Não
Perceptron e Estatística (Redes Bayesianas, técnicas baseadas em c1 b2 Não
instâncias). Nas próximas seções, vamos nos concentrar nas técnicas mais
importantes de aprendizado de máquina supervisionado, começando com
algoritmos lógicos/simbólicos.
Usando a árvore de decisão representada na Figura 2 como exemplo,
a instância ÿat1 = a1, at2 = b2, at3 = a3, at4 = b4ÿ classificaria os nós: at1,
at2 e finalmente at3, que classificaria a instância como sendo positivo
Machine Translated by Google
252 Informatica 31 (2007) 249–268
(representado pelos valores “Sim”). O problema de construir árvores de
decisão binárias ótimas é um problema NP completo e, portanto, os
teóricos têm procurado por heurísticas eficientes para construir árvores de
decisão quase ótimas.
A característica que melhor divide os dados de treinamento seria o
nó raiz da árvore. Existem vários métodos para encontrar o recurso que
melhor divide os dados de treinamento, como ganho de informação (Hunt
et al., 1966) e índice de Gini (Breiman et al., 1984). Enquanto as medidas
míopes estimam cada atributo independentemente, o algoritmo ReliefF
(Kononenko, 1994) os estima no contexto de outros atributos. No entanto,
a maioria dos estudos concluiu que não existe um único método melhor
(Murthy, 1998). A comparação de métodos individuais ainda pode ser
importante ao decidir qual métrica deve ser usada em um determinado
conjunto de dados. O mesmo procedimento é então repetido em cada
partição dos dados divididos, criando sub-árvores até que os dados de
treinamento sejam divididos em subconjuntos da mesma classe.
A Figura 3 apresenta um pseudo-código geral para a construção de
árvores de decisão.
Verifique os casos básicos
Para cada atributo um
Encontre o recurso que melhor divide os dados
de treinamento que essas informações obtêm
como
dividindo em um
Seja a best o atributo com o maior ganho de informação
normalizada
Crie um nó de decisão nó que se divide em a_best
Recurse nas sub-listas obtidas pela divisão em um
melhor e adicione esses nós como filhos do nó
Figura 3. Pseudo-código para construir uma árvore de decisão
Diz-se que uma árvore de decisão, ou qualquer hipótese aprendida
h, superajusta os dados de treinamento se existe outra hipótese h' que
tem um erro maior que h quando testado nos dados de treinamento, mas
um erro menor que h quando testado em todo o conjunto de dados.
Existem duas abordagens comuns que os algoritmos de indução de árvore
de decisão podem usar para evitar o superajuste dos dados de treinamento:
i) Interromper o algoritmo de treinamento antes que ele atinja um ponto
em que ele se encaixe perfeitamente nos dados de treinamento, ii) Podar
a árvore de decisão induzida. Se as duas árvores empregarem o mesmo
tipo de teste e tiverem a mesma precisão de previsão, aquela com menos
folhas geralmente é preferida. Breslow & Aha (1997) pesquisam métodos
de simplificação de árvores para melhorar sua compreensibilidade.
A maneira mais direta de lidar com o overfitting é podar previamente
a árvore de decisão, não permitindo que ela cresça até seu tamanho total.
Estabelecer um critério de terminação não trivial, como um teste de limite
para a métrica de qualidade do recurso, pode fazer isso. Os classificadores
de árvores de decisão geralmente empregam técnicas de pós-poda que
avaliam o desempenho das árvores de decisão, pois elas são podadas
usando um conjunto de validação. Qualquer nó pode ser removido e
atribuído à classe mais comum das instâncias de treinamento classificadas
para ele. Um estudo comparativo de métodos de poda conhecidos é
apresentado em (Elomaa, 1999). Elomaa (1999) concluiu que existe
SB Kotsiantis
nenhum método único de melhor poda. Mais detalhes, não apenas sobre
pós-processamento, mas também sobre pré-processamento de algoritmos
de árvore de decisão podem ser encontrados em (Bruha, 2000).
Embora o algoritmo de divisão e conquista seja rápido, a eficiência
pode se tornar importante em tarefas com centenas de milhares de
instâncias. O aspecto que consome mais tempo é classificar as instâncias
em um recurso numérico para encontrar o melhor limite t. Isso pode ser
acelerado se possíveis limites para um recurso numérico forem
determinados apenas uma vez, convertendo efetivamente o recurso em
intervalos discretos ou se o limite for determinado a partir de um
subconjunto das instâncias. Elomaa & Rousu (1999) afirmaram que o uso
da discretização binária com C4.5 requer aproximadamente a metade do
tempo de treinamento do uso da multidivisão C4.5. Além disso, de acordo
com seus experimentos, a divisão múltipla de recursos numéricos não
traz nenhuma vantagem na precisão da previsão sobre a divisão binária.
As árvores de decisão geralmente são univariadas, pois usam
divisões baseadas em um único recurso em cada nó interno.
A maioria dos algoritmos de árvore de decisão não pode funcionar bem
com problemas que requerem particionamento diagonal. A divisão do
espaço de instância é ortogonal ao eixo de uma variável e paralela a
todos os outros eixos. Portanto, as regiões resultantes após o
particionamento são todas hiper-retângulos. No entanto, existem alguns
métodos que constroem árvores multivariadas. Um exemplo é o de Zheng
(1998), que melhorou a precisão da classificação das árvores de decisão
construindo novos recursos binários com operadores lógicos como
conjunção, negação e disjunção. Além disso, Zheng (2000) criou pelo
menos M de N feições. Para uma determinada instância, o valor de pelo
menos M-de-N representação é verdadeiro se pelo menos M de suas
condições for verdadeiro para a instância, caso contrário, é falso.
Gama e Brazdil (1999) combinaram uma árvore de decisão com um
discriminante linear para a construção de árvores de decisão multivariadas.
Neste modelo, novas feições são calculadas como combinações lineares
das anteriores.
As árvores de decisão podem ser uma representação significativamente
mais complexa para alguns conceitos devido ao problema de replicação.
Uma solução é usar um algoritmo para implementar recursos complexos
em nós para evitar a replicação.
Markovitch e Rosenstein (2002) apresentaram o algoritmo de construção
FICUS, que recebe a entrada padrão de aprendizado supervisionado, bem
como uma especificação de representação de recursos, e os utiliza para
produzir um conjunto de recursos gerados. Embora o FICUS seja
semelhante em alguns aspectos a outros algoritmos de construção de
recursos, sua principal força é sua generalidade e flexibilidade. O FICUS
foi projetado para executar a geração de recursos, dada qualquer
especificação de representação de recursos em conformidade com sua
gramática de propósito geral.
O algoritmo mais conhecido na literatura para construção de árvores
de decisão é o C4.5 (Quinlan, 1993). C4.5 é uma extensão do algoritmo
ID3 anterior de Quinlan (Quinlan, 1979). Um dos estudos mais recentes
que comparam árvores de decisão e outros algoritmos de aprendizado foi
feito por (Tjen-Sien Lim et al. 2000). O estudo mostra que o C4.5 tem uma
combinação muito boa de taxa de erro e velocidade. Em 2001, Ruggieri
apresentou uma avaliação analítica do comportamento do tempo de
execução do algoritmo C4.5, que destacou algumas melhorias de
eficiência. Com base nisso
Machine Translated by Google
APRENDIZADO DE MÁQUINA SUPERVISIONADO: UMA REVISÃO DE...
avaliação analítica, ele implementou uma versão mais eficiente do algoritmo,
chamada EC4.5. Ele argumentou que sua implementação computou as
mesmas árvores de decisão do C4.5 com um ganho de desempenho de até
cinco vezes.
C4.5 assume que os dados de treinamento cabem na memória,
portanto, Gehrke et al. (2000) propuseram Rainforest, uma estrutura para
desenvolver algoritmos rápidos e escaláveis para construir árvores de
decisão que se adaptam graciosamente à quantidade de memória principal
disponível. É claro que na maioria dos algoritmos de árvore de decisão; um
esforço substancial é “desperdiçado” na fase de construção em porções
crescentes da árvore que são posteriormente podadas na fase de poda.
Rastogi & Shim (2000) propuseram o PUBLIC, um classificador de árvore
de decisão aprimorado que integra a segunda fase de “poda” com a fase
inicial de “construção”. Em PUBLIC, um nó não é expandido durante a fase
de construção, se for determinado que o nó será podado durante a fase de
remoção subsequente.
Olcay e Onur (2007) mostram como paralelizar o algoritmo C4.5 de três
maneiras: (i) baseado em características, (ii) baseado em nós (iii) baseado
em dados. Baik e Bala (2004) apresentaram um trabalho preliminar sobre
uma abordagem baseada em agentes para o aprendizado distribuído de
árvores de decisão.
Resumindo, uma das características mais úteis das árvores de decisão
é a sua compreensibilidade. As pessoas podem entender facilmente porque
uma árvore de decisão classifica uma instância como pertencente a uma
classe específica. Uma vez que uma árvore de decisão constitui uma
hierarquia de testes, um valor de recurso desconhecido durante a
classificação geralmente é tratado passando o exemplo por todas as
ramificações do nó onde o valor de recurso desconhecido foi detectado, e
cada ramificação gera uma distribuição de classe. A saída é uma combinação
das diferentes distribuições de classe que somam 1. A suposição feita nas
árvores de decisão é que as instâncias pertencentes a classes diferentes
têm valores diferentes em pelo menos um de seus recursos. As árvores de
decisão tendem a ter um desempenho melhor ao lidar com recursos discretos/
categóricos.
3.2 Conjunto de regras de aprendizagem
As árvores de decisão podem ser traduzidas em um conjunto de
regras, criando uma regra separada para cada caminho desde a raiz até
uma folha na árvore (Quinlan, 1993). No entanto, as regras também podem
ser induzidas diretamente a partir de dados de treinamento usando uma
variedade de algoritmos baseados em regras. Furnkranz (1999) forneceu
uma excelente visão geral do trabalho existente em métodos baseados em
regras.
As regras de classificação representam cada classe pela forma normal
disjuntiva (DNF). Uma expressão k-DNF tem a forma: (X1ÿX2ÿ…ÿXn) ÿ
(Xn+1ÿXn+2ÿ…X2n) ÿ …ÿ (X(k-1)n+1ÿX(k- 1)n+2ÿ…ÿXkn), onde k é o
número de disjunções, n é o número de conjunções em cada disjunção, e
Xn é definido sobre o alfabeto X1, X2,…, Xj ÿ ~X1, ~X2, …,~Xj. O objetivo é
construir o menor conjunto de regras que seja consistente com os dados de
treinamento.
Um grande número de regras aprendidas geralmente é um sinal de que o
algoritmo de aprendizado está tentando “lembrar” o conjunto de treinamento,
em vez de descobrir as suposições que o governam. Um algoritmo de
separar e conquistar (cobrindo algoritmos) procura uma regra que explique
uma parte de sua
Informatica 31 (2007) 249–268 253
instâncias de treinamento, separa essas instâncias e conquista recursivamente
as instâncias restantes aprendendo mais regras, até que nenhuma instância
permaneça. Na Figura 4, é apresentado um pseudo-código geral para
aprendizes de regras.
A diferença entre as heurísticas para aprendizado de regras e as
heurísticas para árvores de decisão é que as últimas avaliam a qualidade
média de um número de conjuntos disjuntos (um para cada valor do recurso
testado), enquanto os aprendizes de regras avaliam apenas a qualidade do
conjunto de instâncias cobertas pela regra candidata. Os aprendizes de
regras mais avançados diferem desse pseudocódigo simples principalmente
por adicionar mecanismos adicionais para evitar o ajuste excessivo dos
dados de treinamento, por exemplo, interrompendo o processo de
especialização com o uso de uma medida de qualidade ou generalizando
regras excessivamente especializadas em uma poda separada fase
(Furnkranz, 1997).
Na apresentação de exemplos de treinamento exemplos
de treinamento: 1. Inicializar
o conjunto de regras para um padrão (geralmente vazio
ou uma regra atribuindo todos os objetos à classe mais
comum).
2. Inicialize exemplos para todos os exemplos disponíveis
ou todos os exemplos não tratados corretamente pelo conjunto
de regras.
3. Repita (a)
Encontre a melhor, a melhor regra em relação aos
exemplos. (b) Se tal regra
puder ser encontrada i. Adicione o melhor ao
conjunto de regras. ii.
Definir exemplos para todos os exemplos
não tratados corretamente pelo conjunto de regras.
até que nenhuma regra melhor possa ser encontrada
(por exemplo, porque nenhum exemplo permanece).
Figura 4. Pseudocódigo para aprendizes de regras
Portanto, é importante para um sistema de indução de regras gerar
regras de decisão que tenham alta previsibilidade ou confiabilidade. Essas
propriedades são comumente medidas por uma função chamada qualidade
da regra. Uma medida de qualidade de regra é necessária nos processos
de indução e classificação de regras, como a medida J (Smyth e Goodman,
1990). Na indução de regra, uma medida de qualidade de regra pode ser
usada como critério na especificação de regra e/ou processo de
generalização. Na classificação, um valor de qualidade de regra pode ser
associado a cada regra para resolver conflitos quando várias regras são
atendidas pelo exemplo a ser classificado. An e Cercone (2000) pesquisaram
uma série de medidas estatísticas e empíricas de qualidade de regras.
Furnkranz e Flach (2005) forneceram uma análise do comportamento de
separar-e-conquistar ou abranger algoritmos de aprendizado de regras,
visualizando suas métricas de avaliação. Ao usar conjuntos de regras não
ordenados, podem surgir conflitos entre as regras, ou seja, duas ou mais
regras abrangem o mesmo exemplo, mas prevêem classes diferentes.
Lindgren (2004) fez recentemente um levantamento dos métodos utilizados
para resolver esse tipo de conflito.
O RIPPER é um algoritmo baseado em regras bem conhecido (Cohen,
1995). Ele forma regras por meio de um processo de crescimento e poda
repetidos. Durante a fase de crescimento, as regras são mais restritivas para
ajustar os dados de treinamento o mais próximo possível. Durante a fase de
poda, as regras tornam-se menos restritivas para evitar
Machine Translated by Google
254 Informatica 31 (2007) 249–268
overfitting, que pode causar baixo desempenho em instâncias invisíveis.
O RIPPER lida com várias classes ordenando-as da menos para a mais
prevalente e, em seguida, tratando cada uma delas como um problema
distinto de duas classes. Outros classificadores fundamentais de
aprendizagem baseados em regras de decisão incluem a família AQ
(Michalski e Chilausky, 1980) e CN2 (Clark e Niblett, 1989). Bonarini
(2000) deu uma visão geral dos classificadores fuzzy baseados em regras.
A lógica difusa tenta melhorar a classificação e os sistemas de suporte à
decisão, permitindo o uso de definições de classes sobrepostas.
Furnkranz (2001) investigou o uso de binarização round robin (ou
classificação pairwise) como uma técnica para lidar com problemas
multiclasse com algoritmos de aprendizado de regra separados e
conquistados. A binarização round robin transforma um problema de c-
classe em c(c-1)/2 problemas de duas classes <i,j>, um para cada
conjunto de classes {i,j}, i= 1 1, j = i+ 1 ... c. O classificador binário
para o problema <i,j> é treinado com exemplos das classes iej, enquanto
exemplos das classes k ÿ i,j são ignorados para este problema.
Um ponto crucial, é claro, é determinar como decodificar as previsões dos
classificadores pairwise para uma previsão final. Furnkranz (2001)
implementou uma técnica de votação simples: ao classificar um novo
exemplo, cada um dos classificadores de base aprendidos determina a
qual de suas duas classes o exemplo tem maior probabilidade de
pertencer. O vencedor recebe um ponto e, no final, o algoritmo prevê a
classe que acumulou mais pontos.
Seus resultados experimentais mostram que, em comparação com a
binarização convencional, ordenada ou não ordenada, a abordagem
round robin pode produzir ganhos significativos em precisão sem arriscar
um desempenho ruim.
Existem vários outros algoritmos de aprendizado baseados em
regras. Furnkranz (1999) referiu-se à maioria deles.
O algoritmo PART infere regras gerando repetidamente árvores de
decisão parciais, combinando assim os dois principais paradigmas para
geração de regras - criando regras a partir de árvores de decisão e a
técnica de aprendizado de regra separar e conquistar. Uma vez
construída uma árvore parcial, uma única regra é extraída dela e por isso
o algoritmo PART evita o pós-processamento (Frank e Witten, 1998).
Para a tarefa de aprender problemas binários, as regras são mais
compreensíveis do que as árvores de decisão porque as abordagens
típicas baseadas em regras aprendem um conjunto de regras apenas
para a classe positiva. Por outro lado, se as definições para várias classes
devem ser aprendidas, o aprendizado baseado em regras deve ser
executado separadamente para cada classe separadamente. Para cada
classe individual, um conjunto de regras separado é obtido e esses
conjuntos podem ser inconsistentes (uma instância específica pode ser
atribuída a várias classes) ou incompletos (nenhuma classe pode ser
atribuída a uma instância específica). Esses problemas podem ser
resolvidos com listas de decisão (as regras em um conjunto de regras
devem ser ordenadas, uma regra só é aplicável quando nenhuma das
regras anteriores for aplicável), mas com a abordagem da árvore de
decisão, eles simplesmente não ocorrem.
Além disso, a abordagem de dividir e conquistar (usada por árvores de
decisão) geralmente é mais eficiente do que a abordagem de separar e
conquistar (usada por algoritmos baseados em regras).
Os algoritmos de separação e conquista analisam uma classe por vez e
tentam produzir regras que identificam exclusivamente a classe.
SB Kotsiantis
aula. Eles fazem isso independentemente de todas as outras classes no
conjunto de treinamento. Por esse motivo, para pequenos conjuntos de
dados, pode ser melhor usar um algoritmo de divisão e conquista que
considere todo o conjunto de uma vez.
Resumindo, a característica mais útil dos classificadores baseados
em regras é a sua compreensibilidade. Além disso, embora alguns
classificadores baseados em regras possam lidar com características
numéricas, alguns especialistas propõem que essas características sejam
discretizadas antes da indução, de modo a reduzir o tempo de treinamento
e aumentar a precisão da classificação (An e Cercone, 1999). A precisão
da classificação dos algoritmos de aprendizado de regras pode ser
melhorada combinando recursos (como em árvores de decisão) usando
o conhecimento prévio do usuário (Flach e Lavrac, 2000) ou algoritmos
de construção automática de recursos (Markovitch e Rosenstein, 2002).
... c
4 técnicas baseadas em Perceptron
Outros algoritmos bem conhecidos são baseados na noção de
perceptron (Rosenblatt, 1962).
4.1 Perceptrons de camada única
Um perceptron de camada única pode ser brevemente descrito da
seguinte forma:
Se x1 a xn são valores de recursos de entrada e w1 a wn são pesos
de conexão/vetor de previsão (normalmente números reais no intervalo
[-1, 1]), então o perceptron calcula a soma das entradas ponderadas:
ÿxw e iia saída passa por um limite ajustável:
eu
se a soma estiver acima do limite, a saída é 1; senão é 0.
A maneira mais comum de usar o algoritmo perceptron para aprender
a partir de um lote de instâncias de treinamento é executar o algoritmo
repetidamente através do conjunto de treinamento até encontrar um vetor
de predição correto em todo o conjunto de treinamento. Essa regra de
previsão é usada para prever os rótulos no conjunto de teste.
WINNOW (Littlestone & Warmuth, 1994) é baseado na ideia do
perceptron e atualiza seus pesos da seguinte forma.
Se o valor de previsão yÿ=0 e o valor real y=1, então os pesos são muito
baixos; assim, para cada recurso tal que xi=1, wi=wi·ÿ, onde ÿ é um
número maior que 1, chamado de parâmetro de promoção. Se o valor de
previsão yÿ= 1 e o valor real y=0, então os pesos eram muito altos; assim,
para cada recurso xi = 1, diminui o peso correspondente definindo wi=wi·ÿ,
onde 0<ÿ<1, chamado de parâmetro de rebaixamento. Geralmente,
WINNOW é um exemplo de um algoritmo de atualização exponencial. Os
pesos dos recursos relevantes crescem exponencialmente, mas os pesos
dos recursos irrelevantes diminuem exponencialmente. Por esta razão,
foi provado experimentalmente (Blum, 1997) que o WINNOW pode se
adaptar rapidamente a mudanças na função alvo (concept drift). Uma
função de destino (como as preferências do usuário) não é estática no
tempo. Para permitir, por exemplo, que um algoritmo de árvore de decisão
responda a mudanças, é necessário decidir quais instâncias antigas de
treinamento podem ser excluídas. Uma série de algoritmos semelhantes a
Machine Translated by Google
APRENDIZADO DE MÁQUINA SUPERVISIONADO: UMA REVISÃO DE...
WINNOW foram desenvolvidos, como os de Auer & Warmuth (1998).
Freund & Schapire (1999) criaram um novo algoritmo, chamado
vote-perceptron, que armazena mais informações durante o
treinamento e então usa essas informações elaboradas para gerar
melhores previsões sobre os dados do teste. A informação que
mantém durante o treinamento é a lista de todos os vetores de
previsão que foram gerados após cada erro. Para cada um desses
vetores, ele conta o número de iterações que “sobrevive” até que o
próximo erro seja cometido; Freund & Schapire referem-se a esta
contagem como o “peso” do vetor de predição. Para calcular uma
previsão, o algoritmo calcula a previsão binária de cada um dos
vetores de previsão e combina todas essas previsões por meio de
uma votação por maioria ponderada.
Os pesos usados são os tempos de sobrevivência descritos acima.
Para resumir, discutimos algoritmos lineares do tipo perceptron
com ênfase em sua complexidade de tempo superior ao lidar com
recursos irrelevantes. Isso pode ser uma vantagem considerável
quando há muitos recursos, mas apenas alguns relevantes.
Geralmente, todos os algoritmos lineares do tipo perceptron são
algoritmos on-line a qualquer momento que podem produzir uma
resposta útil, independentemente de quanto tempo eles executam
(Kivinen, 2002). Quanto mais eles correm, melhor o resultado que
produzem. Finalmente, os métodos do tipo perceptron são binários
e, portanto, no caso de problemas multiclasse, deve-se reduzir o
problema a um conjunto de múltiplos problemas de classificação
binária.
4.2 Perceptrons multicamadas
Perceptrons só podem classificar conjuntos de instâncias
linearmente separáveis. Se uma linha reta ou plano pode ser
desenhado para separar as instâncias de entrada em suas
categorias corretas, as instâncias de entrada são linearmente
separáveis e o perceptron encontrará a solução. Se as instâncias
não forem linearmente separáveis, o aprendizado nunca atingirá
um ponto em que todas as instâncias sejam classificadas
adequadamente. Perceptrons multicamadas (Redes Neurais
Artificiais) foram criados para tentar resolver este problema
(Rumelhart et al., 1986). Zhang (2000) forneceu uma visão geral do
trabalho existente em Redes Neurais Artificiais (ANNs). Assim,
neste estudo, para além de uma breve descrição das ANNs iremos
referir-nos principalmente a alguns artigos mais recentes. Uma rede
neural multicamadas consiste em um grande número de unidades
(neurônios) unidas em um padrão de conexões (Figura 5). As
unidades de uma rede costumam ser segregadas em três classes:
unidades de entrada, que recebem informações para serem
processadas; unidades de saída, onde se encontram os resultados
do processamento; e unidades intermediárias conhecidas como
unidades ocultas. As RNAs feed-forward (Figura 5) permitem que
os sinais viajem apenas em uma direção, da entrada para a saída.
Figura 5. ANN feed-forward
Informatica 31 (2007) 249–268 255
Primeiro, a rede é treinada em um conjunto de dados
emparelhados para determinar o mapeamento de entrada-saída.
Os pesos das conexões entre os neurônios são então fixados e a
rede é usada para determinar as classificações de um novo conjunto
de dados.
Durante a classificação, o sinal nas unidades de entrada se
propaga por toda a rede para determinar os valores de ativação em
todas as unidades de saída. Cada unidade de entrada possui um
valor de ativação que representa algum recurso externo à rede.
Então, cada unidade de entrada envia seu valor de ativação para
cada uma das unidades ocultas às quais está conectada. Cada uma
dessas unidades ocultas calcula seu próprio valor de ativação e
esse sinal é então repassado para as unidades de saída. O valor
de ativação para cada unidade receptora é calculado de acordo
com uma função de ativação simples.
A função soma as contribuições de todas as unidades de envio,
onde a contribuição de uma unidade é definida como o peso da
conexão entre as unidades de envio e recebimento multiplicado
pelo valor de ativação da unidade de envio. Esta soma é geralmente
modificada posteriormente, por exemplo, ajustando a soma de
ativação para um valor entre 0 e 1 e/ou definindo o valor de ativação
para zero, a menos que um nível limite para essa soma seja
alcançado.
Geralmente, determinar corretamente o tamanho da camada
oculta é um problema, porque uma subestimação do número de
neurônios pode levar a capacidades de aproximação e generalização
ruins, enquanto nós excessivos podem resultar em superajuste e,
eventualmente, tornar a busca pelo ótimo global mais difícil. Um
excelente argumento a respeito desse tema pode ser encontrado
em (Camargo & Yoneyama, 2001). Kon & Plaskota (2000) também
estudaram a quantidade mínima de neurônios e o número de
instâncias necessárias para programar uma determinada tarefa em
redes neurais feedforward.
ANN depende de três aspectos fundamentais, funções de
entrada e ativação da unidade, arquitetura de rede e o peso de
cada conexão de entrada. Dado que os dois primeiros aspectos são
fixos, o comportamento da RNA é definido pelos valores atuais dos
pesos. Os pesos da rede a ser treinada são inicialmente definidos
com valores aleatórios e, em seguida, as instâncias do conjunto de
treinamento são repetidamente expostas à rede. Os valores para a
entrada de uma instância são colocados nas unidades de entrada e
a saída da rede é comparada com a saída desejada para esta
instância. Em seguida, todos os pesos da rede são ligeiramente
ajustados na direção que traria os valores de saída da rede mais
próximos dos valores da saída desejada. Existem vários algoritmos
com os quais uma rede pode ser treinada (Neocleous & Schizas,
2002).
No entanto, o algoritmo de aprendizado mais conhecido e
amplamente utilizado para estimar os valores dos pesos é o
algoritmo Back Propagation (BP). Geralmente, o algoritmo BP inclui
as seis etapas a seguir: 1. Apresentar uma
amostra de treinamento à rede neural.
2. Compare a saída da rede com a saída desejada dessa amostra.
Calcule o erro em cada saída
neurônio.
3. Para cada neurônio, calcule qual deveria ter sido a saída e um
fator de escala, quanto mais baixa ou mais alta a saída deve
ser ajustada para corresponder à saída desejada. Este é o
erro local.
Machine Translated by Google
256 Informatica 31 (2007) 249–268
4. Ajuste os pesos de cada neurônio para diminuir o local
erro.
5. Atribuir "culpa" pelo erro local aos neurônios do nível anterior,
dando maior responsabilidade aos neurônios conectados por
pesos mais fortes.
6. Repita os passos acima nos neurônios do nível anterior, usando
a "culpa" de cada um como seu erro.
Com mais detalhes, a regra geral para atualização dos pesos
é: ÿWji = Oi onde: • ÿ é ÿÿ
um número
j
positivo (chamado taxa de aprendizado), que determina o tamanho
do passo na busca do gradiente descendente. Um valor alto
permite que a retropropagação se mova mais rapidamente
para a configuração de peso alvo, mas também aumenta a
chance de nunca atingir esse alvo. • Oi é a saída calculada
pelo
neurônio i )( )
• ÿ j = Oj ÿ(1Oj Tj ÿ Oj para os neurônios de saída,
onde Tj a saída desejada para o neurônio j e kW para
• ÿ j = Oj(1ÿOj)ÿ ÿ o interno
kj
k Seu procedimento de treinamento é geralmente dividido em duas etapas.
Neurônios (ocultos)
O algoritmo de retropropagação terá que realizar uma série
de modificações de peso antes de atingir uma boa configuração
de peso. Para n instâncias de treinamento e pesos W , cada
repetição/época no processo de aprendizado leva tempo O(nW) ;
mas no pior caso, o número de épocas pode ser exponencial ao
número de entradas. Por esse motivo, as redes neurais usam
várias regras de parada diferentes para controlar quando o
treinamento termina. As quatro regras de parada mais comuns
são: i) Parar após um número especificado de épocas, ii) Parar
quando uma medida de erro atingir um limite, iii) Parar quando a
medida de erro não apresentar melhora em um determinado
número de épocas, iv) Parar quando a medida de erro em alguns
dos dados que foram amostrados dos dados de treinamento
(conjunto de espera, conjunto de validação) é maior que uma
certa quantidade do que a medida de erro no conjunto de
treinamento (overfitting).
As redes neurais feedforward são geralmente treinadas pelo
algoritmo original de retropropagação ou por alguma variante. Seu
maior problema é que eles são muito lentos para a maioria dos
aplicativos. Uma das abordagens para acelerar a taxa de
treinamento é estimar pesos iniciais ótimos (Yam & Chow, 2001).
Outro método para treinar RNAs feedforward multicamadas é o
algoritmo de eliminação de peso que deriva automaticamente a
topologia apropriada e, portanto, evita também os problemas com
overfitting (Weigend et al., 1991). Algoritmos genéticos têm sido
usados para treinar os pesos de redes neurais (Siddique e Tokhi,
2001) e para encontrar a arquitetura de redes neurais (Yen e Lu,
2000). Existem também métodos Bayesianos que tentam treinar
redes neurais. Vivarelli & Williams (2001) comparam dois métodos
bayesianos para treinamento de redes neurais. Uma série de
outras técnicas surgiram recentemente que tentam melhorar os
algoritmos de treinamento de RNAs, alterando a arquitetura das
redes à medida que o treinamento prossegue. Essas técnicas
incluem a poda de nós ou pesos inúteis (Castellano et al. 1997) e
SB Kotsiantis
algoritmos construtivos, onde nós extras são adicionados conforme
necessário (Parekh et al. 2000).
4.3 Redes de Função de Base Radial (RBF)
O aprendizado de RNA pode ser alcançado, entre outros,
através de i) modificação do peso sináptico, ii) modificações da
estrutura da rede (criação ou exclusão de neurônios ou conexões
sinápticas), iii) uso de atratores adequados ou outros pontos de
estado estável adequados, iv) escolha apropriada de ativação
funções. Como o treinamento de retropropagação é um processo
descendente de gradiente, ele pode ficar preso em mínimos locais
neste espaço de pesos. É por causa dessa possibilidade que os
modelos de redes neurais são caracterizados por alta variância e
instabilidade.
As redes Radial Basis Function (RBF) também têm sido
amplamente aplicadas em muitos campos da ciência e da
engenharia (Robert e Howlett, 2001). Uma rede RBF é uma rede
de realimentação de três camadas, na qual cada unidade oculta
implementa uma função de ativação radial e cada unidade de
saída implementa uma soma ponderada das saídas das unidades ocultas.
Primeiro, os centros e as larguras da camada oculta são
determinados por algoritmos de agrupamento. Em segundo lugar,
os pesos que conectam a camada oculta com a camada de saída
são determinados pelos algoritmos de Decomposição de Valor
Singular (SVD) ou Mínimo Quadrado Médio (LMS). O problema de
selecionar o número apropriado de funções de base continua
sendo uma questão crítica para redes RBF. O número de funções
de base controla a complexidade e a capacidade de generalização
das redes RBF. As redes RBF com poucas funções de base não
podem ajustar os dados de treinamento adequadamente devido à
flexibilidade limitada. Por outro lado, aqueles com muitas funções
de base produzem habilidades de generalização pobres, pois são
muito flexíveis e ajustam erroneamente o ruído nos dados de
treinamento.
Embora redes neurais multicamadas e árvores de decisão
sejam duas técnicas muito diferentes para fins de classificação,
alguns pesquisadores (Eklund & Hoang, 2002), (Tjen-Sien Lim et
al. 2000) realizaram alguns estudos comparativos empíricos.
Algumas das conclusões gerais tiradas desse trabalho são: i) as
redes neurais são geralmente mais
capazes de fornecer aprendizagem incremental do que as árvores
de decisão (Saad, 1998), embora existam alguns
algoritmos para aprendizagem incremental de árvores
de decisão como (Utgoff et al, 1997) e (McSherry,
1999). Técnicas incrementais de indução de árvore de
decisão resultam em frequente reestruturação da árvore
quando a quantidade de dados de treinamento é
pequena, com a estrutura da árvore amadurecendo à
medida que o conjunto de dados se torna maior. O
tempo de treinamento para
ii) uma rede neural geralmente é muito maior do que o
tempo de treinamento para árvores de decisão.
iii) as redes neurais geralmente funcionam tão bem quanto as
árvores de decisão, mas raramente melhor.
Resumindo, as RNAs foram aplicadas a muitos problemas
do mundo real, mas ainda assim, sua desvantagem mais marcante
é a falta de capacidade de raciocinar sobre sua saída em um
Machine Translated by Google
APRENDIZADO DE MÁQUINA SUPERVISIONADO: UMA REVISÃO DE...
forma que possa ser efetivamente comunicada. Por esta
razão, muitos pesquisadores tentaram abordar a questão
de melhorar a compreensibilidade das redes neurais, onde
a solução mais atraente é extrair regras simbólicas de
redes neurais treinadas. Setiono e Leow (2000) dividiram
os valores de ativação de unidades ocultas relevantes em
dois subintervalos e, em seguida, encontraram o conjunto
de conexões relevantes dessas unidades relevantes para
construir regras. Mais referências podem ser encontradas
em (Zhou, 2004), uma excelente pesquisa. No entanto,
também vale mencionar que Roy (2000) identificou o
conflito entre a ideia de extração de regras e o conexionismo de 0. Isso pode ser evitado usando o estimador de Laplace
tradicional. Em detalhes, a ideia de extração de regras de
uma rede neural envolve certos procedimentos,
especificamente a leitura de parâmetros de uma rede, o
que não é permitido pelo arcabouço conexionista tradicional quase sempre errada e, por esse motivo, os classificadores
em que se baseiam essas redes neurais.
5 Algoritmos de aprendizado estatístico
Ao contrário das RNAs, as abordagens estatísticas
são caracterizadas por ter um modelo de probabilidade
subjacente explícito, que fornece uma probabilidade de
que uma instância pertence a cada classe, em vez de
simplesmente uma classificação. A análise discriminante
linear (LDA) e o discriminante linear de Fisher relacionado
são métodos simples usados em estatística e aprendizado
de máquina para encontrar a combinação linear de recursos
que melhor separam duas ou mais classes de objetos
(Friedman, 1989). O LDA funciona quando as medições
feitas em cada observação são quantidades contínuas. Ao
lidar com variáveis categóricas, a técnica equivalente é a
Análise de Correspondência Discriminante (Mika et al., 1999).
A entropia máxima é outra técnica geral para estimar
distribuições de probabilidade a partir de dados. O princípio
dominante na entropia máxima é que, quando nada é
conhecido, a distribuição deve ser a mais uniforme possível,
ou seja, ter entropia máxima. Os dados de treinamento
rotulados são usados para derivar um conjunto de restrições
para o modelo que caracterizam as expectativas específicas
da classe para a distribuição. Csiszar (1996) fornece um
bom tutorial de introdução às técnicas de máxima entropia.
As redes bayesianas são os representantes mais
conhecidos dos algoritmos de aprendizado estatístico. Um
livro abrangente sobre redes bayesianas é o de Jensen
(1996). Assim, neste estudo, além de nossa breve descrição
das redes bayesianas, nos referimos principalmente a
trabalhos mais recentes.
5.1.1 Classificadores Naive Bayes
Redes Naive Bayesianas (NB) são redes Bayesianas
muito simples que são compostas de grafos acíclicos
direcionados com apenas um pai (representando o nó não
observado) e vários filhos (correspondentes a nós
observados) com uma forte suposição de independência
entre os nós filhos no contexto de seu pai (Good, 1950).
Assim, o modelo de independência (Naive Bayes) é
baseado na estimativa (Nilsson, 1965):
Informatica 31 (2007) 249–268 257
R=
Pi (X| ( PiPX i P i PX()
=
i| ()|
=
() ÿ r
)
P (jX) )P||jPX
() )| ) j P j PX j () ( ÿ
r
( Comparando essas duas probabilidades, a maior
probabilidade indica que o valor do rótulo da classe é mais
provável de ser o rótulo real (se R>1: prever i ÿcaso
contrário prever j). Cestnik et al (1987) usaram pela primeira
vez o Naive Bayes na comunidade ML. Como o algoritmo
de classificação de Bayes usa uma operação de produto
para calcular as probabilidades P(X, i), ele é especialmente
propenso a ser indevidamente impactado por probabilidades
ou m -estime, adicionando um a todos os numeradores e
somando o número de uns adicionados ao denominador (Cestnik, 1990).
A suposição de independência entre os nós filhos é
ingênuos de Bayes geralmente são menos precisos que
outros algoritmos de aprendizado mais sofisticados (como as RNAs).
No entanto, Domingos & Pazzani (1997) realizaram uma comparação
em larga escala do classificador ingênuo de Bayes com algoritmos
de última geração para indução de árvores de decisão, aprendizado
baseado em instâncias e indução de regras em conjuntos de dados
de benchmark padrão e descobriram que ele ser às vezes superior
aos outros esquemas de aprendizado, mesmo em conjuntos de
dados com dependências substanciais de recursos.
O modelo Bayes independente básico foi modificado
de várias maneiras na tentativa de melhorar seu
desempenho. As tentativas de superar a suposição de
independência baseiam-se principalmente na adição de
arestas extras para incluir algumas das dependências
entre os recursos, por exemplo (Friedman et al. 1997).
Nesse caso, a rede tem a limitação de que cada recurso
pode estar relacionado a apenas um outro recurso. O
classificador bayesiano semi-ingênuo é outra tentativa
importante de evitar a suposição de independência.
(Kononenko, 1991), em que os atributos são particionados
em grupos e assume-se que xi é condicionalmente
independente de xj se e somente se eles estiverem em grupos diferentes
A principal vantagem do classificador ingênuo de Bayes é
seu curto tempo computacional para treinamento. Além disso,
como o modelo tem a forma de um produto, ele pode ser
convertido em uma soma por meio do uso de logaritmos - com
consequentes vantagens computacionais significativas. Se
uma característica é numérica, o procedimento usual é
discretizá-la durante o pré-processamento dos dados (Yang &
Webb, 2003), embora um pesquisador possa usar a distribuição
normal para calcular probabilidades (Bouckaert, 2004).
5.2 Redes Bayesianas
Uma Rede Bayesiana (BN) é um modelo gráfico para
relações de probabilidade entre um conjunto de variáveis
(características) (consulte a Figura 6). A estrutura de rede
bayesiana S é um grafo acíclico direcionado (DAG) e os nós
em S estão em correspondência um-para-um com os recursos X.
Os arcos representam influências casuais entre os recursos,
enquanto a falta de possíveis arcos em S codifica
independências condicionais. Além disso, um recurso (nó)
é condicionalmente independente de seus não descendentes
dados seus pais (X1 é condicionalmente independente de X2
Machine Translated by Google
258 Informatica 31 (2007) 249–268
dado X3 se P(X1|X2,X3)=P(X1|X3) para todos os valores possíveis de
X1, X2, X3).
Figura 6. A estrutura de uma Rede Bayesiana
Normalmente, a tarefa de aprender uma rede Bayesiana pode ser
dividida em duas subtarefas: inicialmente, o aprendizado da estrutura
DAG da rede e, em seguida, a determinação de seus parâmetros. Os
parâmetros probabilísticos são codificados em um conjunto de tabelas,
uma para cada variável, na forma de distribuições condicionais locais
de uma variável, dados seus pais. Dadas as independências codificadas
na rede, a distribuição conjunta pode ser reconstruída simplesmente
multiplicando essas tabelas. Dentro do quadro geral de indução de
redes bayesianas, existem dois cenários: estrutura conhecida e estrutura
desconhecida.
No primeiro cenário, a estrutura da rede é fornecida (por exemplo,
por um especialista) e considerada correta. Uma vez que a estrutura da
rede é fixada, aprender os parâmetros nas Tabelas de Probabilidade
Condicional (CPT) geralmente é resolvido estimando um número
localmente exponencial de parâmetros a partir dos dados fornecidos
(Jensen, 1996). Cada nó na rede tem um CPT associado que descreve
a distribuição de probabilidade condicional desse nó dados os diferentes
valores de seus pais.
Apesar do notável poder das Redes Bayesianas, elas possuem
uma limitação inerente. Esta é a dificuldade computacional de explorar
uma rede previamente desconhecida. Dado um problema descrito por n
características, o número de possíveis hipóteses de estrutura é mais do
que exponencial em n. Se a estrutura for desconhecida, uma abordagem
é introduzir uma função de pontuação (ou uma pontuação) que avalia a
“aptidão” das redes em relação aos dados de treinamento e, em seguida,
procurar a melhor rede de acordo com essa pontuação. Vários
pesquisadores mostraram experimentalmente que a seleção de uma
única boa hipótese usando busca gulosa geralmente produz previsões
precisas (Heckerman et al. 1999), (Chickering, 2002). Na Figura 7 há
um pseudo-código para treinamento de BNs.
Dentro do paradigma score & search, outra abordagem usa métodos
de busca local no espaço de grafos acíclicos direcionados, onde as
escolhas usuais para definir as modificações elementares (mudanças
locais) que podem ser aplicadas são adição de arco, exclusão de arco
e reversão de arco. Acid e de Campos (2003) propuseram um novo
método de busca local, restrito a grafos acíclicos parcialmente
direcionados, que utiliza um espaço de busca diferente e leva em conta
o conceito de equivalência entre estruturas de rede. Desta forma, reduz-
se o número de diferentes configurações do espaço de busca,
melhorando assim a eficiência.
SB Kotsiantis
Inicialize uma rede bayesiana vazia G contendo n nós (ou seja,
um BN com n nós, mas sem arestas)
1. Avalie a pontuação do G: Score(G)
2. G' = G 3.
para i = 1 até n faça 4. para j = 1
até n faça 5. se i • j então 6. se não
houver aresta entre os nós
i e j em G• então 7. Modifique G' adicionando uma aresta entre os
nós i e j em G• de modo que i seja pai de
j: (i • j) 8. se o G' resultante for um DAG, então 9. se (Score(G') >
Pontuação (G)) então 10. G = G' 11. fim se 12. fim se 13. fim
se 14. fim se 15. G' = G 16. fim para 17.
fim para
Figura 7. Pseudocódigo para treinamento de BN
Uma estrutura BN também pode ser encontrada aprendendo as
relações de independência condicional entre os recursos de um conjunto
de dados. Usando alguns testes estatísticos (como o qui-quadrado e o
teste de informação mútua), pode-se encontrar as relações de
independência condicional entre os recursos e usar essas relações
como restrições para construir uma BN. Esses algoritmos são chamados
de algoritmos baseados em CI ou algoritmos baseados em restrições.
Cowell (2001) mostrou que para qualquer procedimento de busca de
estrutura baseado em testes de IC, um procedimento equivalente
baseado na maximização de uma pontuação pode ser especificado.
Uma comparação entre métodos baseados em pontuação e
métodos baseados em IC é apresentada em (Heckerman et al., 1999).
Ambas as abordagens têm suas vantagens e desvantagens. De um
modo geral, a abordagem de análise de dependência é mais eficiente
do que a abordagem de pesquisa e pontuação para redes esparsas
(redes que não são densamente conectadas). Também pode deduzir a
estrutura correta quando a distribuição de probabilidade dos dados
satisfaz certas suposições. No entanto, muitos desses algoritmos
requerem um número exponencial de testes de CI e muitos testes de CI
de alta ordem (testes de CI com grandes conjuntos de condições). No
entanto, embora a abordagem de busca e pontuação possa não
encontrar a melhor estrutura devido à sua natureza heurística, ela
funciona com uma gama mais ampla de modelos probabilísticos do que
a abordagem de análise de dependência. Madden (2003) comparou o
desempenho de vários Classificadores de Rede Bayesiana. Seus
experimentos demonstraram que um desempenho de classificação
muito semelhante pode ser alcançado por classificadores construídos
usando as diferentes abordagens descritas acima.
O cenário de aprendizado mais genérico é quando a estrutura da
rede é desconhecida e há dados ausentes. Friedman & Koller (2003)
propuseram uma nova abordagem para esta tarefa e mostraram como
calcular eficientemente uma soma sobre o número exponencial de redes
que são consistentes com uma ordem fixa sobre as redes.
Usando uma versão adequada de qualquer um dos tipos de modelo
mencionados nesta revisão, pode-se induzir uma rede bayesiana a partir
de um determinado conjunto de treinamento. Um classificador baseado
na rede e no conjunto dado de atributos X1,X2, ... Xn,
Machine Translated by Google

APRENDIZADO DE MÁQUINA SUPERVISIONADO: UMA REVISÃO DE... Informatica 31 (2007) 249–268 259

retorna o rótulo c, que maximiza a probabilidade posterior p(c | X1,
X2, ... Xn).
As multi-redes bayesianas permitem diferentes dependências
probabilísticas para diferentes valores do nó de classe (Jordan,
1998). Isso sugere que os classificadores BN simples devem
funcionar melhor quando há um único modelo subjacente do conjunto
de dados e o classificador multi-net deve funcionar melhor quando
os relacionamentos subjacentes entre os recursos são muito
diferentes para classes diferentes (Cheng e Greiner, 2001).
A característica mais interessante das BNs, em comparação
com árvores de decisão ou redes neurais, é certamente a
possibilidade de levar em conta informações prévias sobre um
determinado problema, em termos de relações estruturais entre suas
características. Essa expertise prévia, ou conhecimento de domínio,
sobre a estrutura de uma rede bayesiana pode assumir as seguintes
formas: 1. Declarar que um nó é
raiz, ou seja, não tem
pais.
2. Declarar que um nó é um nó folha, ou seja, não tem
crianças.
3. Declarar que um nó é uma causa direta ou direta
efeito de outro nó.
4. Declarar que um nó não está diretamente conectado a outro nó.
5. Declarar que dois nós são independentes, dado um conjunto de
condições.
6. Fornecer ordenação parcial dos nós, ou seja, declarar que um nó
aparece antes de outro nó na ordenação.
7. Fornecimento de um pedido de nó completo.
Um problema dos classificadores BN é que eles não são
adequados para conjuntos de dados com muitas características
marcado com um rótulo de classificação, então o valor do rótulo de
uma instância não classificada pode ser determinado observando a
classe de seus vizinhos mais próximos. O kNN localiza as k instâncias
mais próximas da instância de consulta e determina sua classe
identificando o único rótulo de classe mais frequente. Na Figura 8,
um exemplo de pseudocódigo para os métodos de aprendizado de
base de instância é ilustrado.
procedimento InstanceBaseLearner(Teste
Instances)
para cada instância de teste { encontre
as k instâncias mais próximas do conjunto de
treinamento de acordo com uma métrica de distância
Classe resultante= rótulo de classe mais frequente das
k instâncias mais próximas }
Figura 8. Pseudocódigo para alunos baseados em instância
Em geral, as instâncias podem ser consideradas como pontos
dentro de um espaço de instância n-dimensional onde cada uma das
n-dimensões corresponde a uma das n-características que são
usadas para descrever uma instância. A posição absoluta das
instâncias dentro desse espaço não é tão significativa quanto a
distância relativa entre as instâncias. Essa distância relativa é
determinada usando uma métrica de distância. Idealmente, a métrica
de distância deve minimizar a distância entre duas instâncias
classificadas de forma semelhante, enquanto maximiza a distância
entre instâncias de classes diferentes. Muitas métricas diferentes
foram apresentadas. Os mais significativos são apresentados na
Tabela 3.
m ÿ
1/ r
r
Minkowsky: D(x,y)= ÿ ÿÿÿ xy ÿ

eu eu

ÿÿ
(Cheng et al., 2002). A razão para isso é que tentar construir uma eu
=1

rede muito grande simplesmente não é viável em termos de tempo e m

espaço. Um problema final é que antes da indução, as características

numéricas precisam ser discretizadas na maioria das vezes.
Manhattan: D(x,y)= ÿ ÿx y eu eu

eu
= 1

casos. m

Chebychev: D(x,y)= max x y 1

eu
ÿ

eu

eu
=

6 Aprendizagem baseada em instâncias 1/2

m ÿ
2

Outra categoria sob o título de métodos estatísticos é o Euclidiano: D(x,y)= ÿ ÿÿÿ xy eu

ÿ

eu

ÿÿ
=1
aprendizado baseado em instâncias. Algoritmos de aprendizado eu

baseados em instâncias são algoritmos de aprendizado preguiçoso m ÿ

xy
(Mitchell, 1997), pois atrasam o processo de indução ou generalização Camberra: D(x,y)= ÿ eu eu

até que a classificação seja realizada. eu

=1 xy + eu eu

Algoritmos de aprendizado preguiçoso requerem menos tempo de Correlação de classificação de Kendall:

computação durante a fase de treinamento do que algoritmos de 2 mi ÿ

aprendizado ansioso (como árvores de decisão, redes neurais e de D(x,y)= 1 ÿ ÿÿ

ÿÿ sinal( xx
)(eu) sinal yy j

Bayes), mas mais tempo de computação durante o processo de (

milímetros
ÿ

1) ij=j =1

classificação. Um dos algoritmos de aprendizado baseados em

instâncias mais diretos é o algoritmo do vizinho mais próximo . Aha
(1997) e De Mantaras e Armengol (1998) apresentaram uma revisão
de classificadores de aprendizagem baseados em instâncias. Assim,
neste estudo, além de uma breve descrição do algoritmo do vizinho
mais próximo , faremos referência a alguns trabalhos mais recentes.
k-
Nearest Neighbor (kNN) é baseado no princípio de que as instâncias
dentro de um conjunto de dados geralmente existirão próximas a
outras instâncias que possuem propriedades semelhantes (Cover e
Hart, 1967). Se as instâncias forem
Tabela 3. Abordagens para definir a distância entre as
instâncias (x e y)
Para obter resultados mais precisos, vários algoritmos usam
esquemas de ponderação que alteram as medidas de distância e a
influência de votação de cada instância. Uma pesquisa de esquemas
de ponderação é dada por (Wettschereck et al., 1997).
O poder do kNN foi demonstrado em vários domínios reais, mas
existem algumas ressalvas sobre a utilidade do kNN, como: i) eles
têm grandes
Machine Translated by Google

260 Informatica 31 (2007) 249–268 SB Kotsiantis

requisitos de armazenamento, ii) eles são sensíveis à escolha da
função de similaridade que é usada para comparar instâncias, iii)
eles não têm uma maneira baseada em princípios para escolher k,
técnica ou
por meio de validação cruzada semelhante, exceto
computacionalmente cara (Guo et al. 2003 ).
A escolha de k afeta o desempenho do algoritmo kNN.
Considere os seguintes motivos pelos quais um classificador de
vizinho mais próximo pode classificar incorretamente uma instância
de consulta: •
Quando há ruído na localidade da instância de consulta, a(s)
instância(s) com ruído ganha(m) a maioria dos votos,
resultando na previsão da classe incorreta. Um k maior
poderia resolver este problema. •
Quando a região que define a classe, ou fragmento da classe, é
tão pequena que as instâncias pertencentes à classe que
circunda o fragmento ganham a maioria dos votos. Um k
menor poderia resolver este problema.
Wettschereck et al. (1997) investigaram o comportamento do
kNN na presença de instâncias ruidosas. Os experimentos
mostraram que o desempenho de kNN não era sensível à escolha
exata de k quando k era grande.
Eles descobriram que, para pequenos valores de k, o algoritmo
kNN era mais robusto do que o único algoritmo de vizinho mais
próximo (1NN) para a maioria dos grandes conjuntos de dados testados.
No entanto, o desempenho do kNN foi inferior ao obtido pelo 1NN
em pequenos conjuntos de dados (<100 instâncias).
Como já mencionamos, a principal desvantagem dos
classificadores baseados em instância é seu grande tempo
computacional para classificação. Uma questão chave em muitas
aplicações é determinar qual dos recursos de entrada disponíveis
deve ser usado na modelagem por meio da seleção de recursos
(Yu & Liu, 2004), porque isso pode melhorar a precisão da
classificação e reduzir o tempo de classificação necessário. Além
disso, escolher uma métrica de distância mais adequada para o
conjunto de dados específico pode melhorar a precisão dos
classificadores baseados em instâncias.
7 Máquinas de Vetor de Suporte
As Support Vector Machines (SVMs) são a mais nova técnica
de aprendizado de máquina supervisionado (Vapnik, 1995).
Uma excelente pesquisa sobre SVMs pode ser encontrada em
(Burges, 1998), e um livro mais recente é de (Cristianini & Shawe-
Taylor, 2000). Assim, neste estudo, além de uma breve descrição
dos SVMs, faremos referência a alguns trabalhos mais recentes e
aos marcos que foram publicados antes desses trabalhos. Os
SVMs giram em torno da noção de “margem” – cada lado de um
hiperplano que separa duas classes de dados. Maximizar a margem
e, assim, criar a maior distância possível entre o hiperplano de
separação e as instâncias de cada lado dele provou reduzir um
limite superior no erro de generalização esperado.

Okamoto e Yugami (2003) representaram a precisão de Se os dados de treinamento forem linearmente separáveis,
classificação esperada de k-NN em função das características do então existe um par (w,b) tal que
domínio, incluindo o número de instâncias de treinamento, o
T w xi + ÿb1, para todos x ÿ i P
número de atributos relevantes e irrelevantes, a probabilidade de
cada atributo, a taxa de ruído para cada tipo de ruído , e k. Eles Twx b + ÿ ÿ 1, para todox ÿ N
eu eu

também exploraram as implicações comportamentais das análises,

com o decisão regra dado por
apresentando os efeitos das características do domínio na precisão
T
esperada de k-NN e no valor ideal de k para domínios artificiais. f wb, (x = wx
) sgn( + onde
vetor w éb chamado
) de
de peso e b o viés (ou ÿ b é denominado limite).

O tempo para classificar a instância da consulta está

intimamente relacionado ao número de instâncias armazenadas e É fácil mostrar que, quando é possível separar linearmente
duas classes, um hiperplano de separação ótimo pode ser
ao número de recursos usados para descrever cada instância.
encontrado minimizando a norma quadrada do hiperplano de
Assim, para reduzir o número de instâncias armazenadas,
separação. A minimização pode ser configurada como um
algoritmos de filtragem de instâncias foram propostos (Kubat e
problema de programação quadrática convexa (QP):
Cooperson, 2001). Brighton & Mellish (2002) descobriram que seu
1 2
algoritmo ICF e algoritmo RT3 (Wilson & Martinez, 2000) alcançaram Minimizar ( w
) ÿw= 2
c ,b (1)
o mais alto grau de redução do conjunto de instâncias, bem como
T
a retenção da precisão da classificação: eles estão perto de sujeito a ( y No wx i ÿ =b ) 1, 1, i + k
,.
eu
eu

alcançar a redução de armazenamento não intrusiva. O grau de
desempenho desses algoritmos é bastante impressionante: uma
média de 80% dos casos são removidos e a precisão da
classificação não cai significativamente. Uma outra escolha ao
projetar um algoritmo de redução do conjunto de treinamento é
modificar as instâncias usando uma nova representação, como
protótipos (Sanchez et al., 2002).
caso de dados linearmente separáveis, uma vez que o
hiperplano de separação ótimo é encontrado, os pontos de dados
que ficam em sua margem são conhecidos como pontos de vetor
de suporte e a solução é representada como uma combinação
linear apenas desses pontos (consulte a Figura 9 ). Outros pontos
de dados são ignorados.

Breiman (1996) relatou que a estabilidade dos classificadores

do vizinho mais próximo os distingue das árvores de decisão e
alguns tipos de redes neurais. Um método de aprendizado é
denominado "instável" se pequenas mudanças na divisão do
conjunto de treinamento-teste podem resultar em grandes mudanças
no classificador resultante.
Machine Translated by Google

APRENDIZADO DE MÁQUINA SUPERVISIONADO: UMA REVISÃO DE... Informatica 31 (2007) 249–268 261

1
w C+ ÿ ÿÿ ÿ{ ( ) yxwb
2

eu
P
ÿ ÿ 1 ÿ } µÿ
2 eu
eu

eu
eu eu eu

ÿ ÿ ÿ + ÿÿi ii
eu

Máximo
margem onde o µ eu
são os multiplicadores de Lagrange introduzidos para

reforçar a positividade do ÿ eu .
No entanto, a maioria dos problemas do mundo real
envolve dados não separáveis para os quais não existe
nenhum hiperplano que separe com sucesso as instâncias
hiperplano
positivas das negativas no conjunto de treinamento. Uma
solução para o problema de inseparabilidade é mapear os
dados em um espaço dimensional superior e definir um
hiperplano ideal
hiperplano hiperplano de separação lá. Esse espaço de dimensão superior
é chamado de espaço de recursos transformados, em oposição
Figura 9. Margem Máxima ao espaço de entrada ocupado pelas instâncias de treinamento.
Com um espaço de recurso transformado apropriadamente
Portanto, a complexidade do modelo de um SVM não é
escolhido de dimensionalidade suficiente, qualquer conjunto de
afetada pelo número de recursos encontrados nos dados de
treinamento consistente pode ser separado. Uma separação
treinamento (o número de vetores de suporte selecionados pelo
linear no espaço de recursos transformado corresponde a uma
algoritmo de aprendizado do SVM geralmente é pequeno). Por
separação não linear no espaço de entrada original. Mapeando
esta razão, os SVMs são adequados para lidar com tarefas de
os dados para algum outro (possivelmente de dimensão infinita)
aprendizado onde o número de recursos é grande em relação
d
ao número de instâncias de treinamento. as: ÿREntão
espaço H Hilbert ÿH.
o algoritmo de treinamento
Um pseudocódigo geral para SVMs é ilustrado na Figura 10. dependeria apenas dos dados através de
produtosda
funções escalares
forma ( )em( ) H,
ÿ xxou. seja, dej Se lá
ÿÿ eu

eram a "núcleo função” K tal

1) Introduza multiplicadores de Lagrange positivos, um para
cada uma das restrições de desigualdade (1). Isso dá K
quexx
ÿ( ,x=( )ÿÿ
eu j xj
) eu
() , só precisaríamos
Lagrangeano:
usar K no algoritmo de treinamento e nunca precisaria
1 2
N N determinar explicitamente ÿ . Assim, kernels são uma
ÿ ÿ

ÿ ÿÿ+ ÿ classe especial de função que permite que produtos

LP w 2 ÿ ( ) ÿ i yi xi w b eu

=1 =1
eu eu
internos sejam calculados diretamente no espaço de
2) Minimize LP em relação a w, b. Este é um problema características, sem realizar o mapeamento descrito acima (Scholkopf et a
de programação quadrática convexa. Depois que um hiperplano é criado, a função kernel é
usada para mapear novos pontos no espaço de recursos
3) Na solução, esses pontos >0 são chamados de “suporte para classificação.
para qual ÿ eu
A seleção de uma função de kernel apropriada é importante,
vetores” uma vez que a função de kernel define o espaço de características
transformadas no qual as instâncias do conjunto de treinamento
Figura 10. Pseudocódigo para SVMs serão classificadas. Genton (2001) descreveu várias classes de
kernels, porém, não abordou a questão de qual classe é mais
Mesmo que a margem máxima permita que o SVM selecione
adequada para um determinado problema. É uma prática comum
entre vários hiperplanos candidatos, para muitos conjuntos de
estimar uma gama de configurações potenciais e usar a validação
dados, o SVM pode não ser capaz de encontrar nenhum
cruzada sobre o conjunto de treinamento para encontrar a melhor.
hiperplano de separação porque os dados contêm instâncias mal
Por este motivo uma limitação dos SVMs é a baixa velocidade do
classificadas. O problema pode ser resolvido usando uma
treinamento.
margem flexível que aceita algumas classificações incorretas das
A seleção das configurações do kernel pode ser considerada de
instâncias de treinamento (Veropoulos et al. 1999). Isso pode ser
maneira semelhante à escolha do número de nós ocultos em uma
feito introduzindo variáveis de folga positivas i =1,...,N nas
rede neural. Contanto que a função do kernel seja legítima, um
ÿ eu , restrições, que então se tornam: para y
SVM operará corretamente mesmo se o projetista não souber
wx b 1 ÿ ÿ ÿ + ÿ
eu ÿ eu
1=+ exatamente quais recursos dos dados de treinamento estão sendo
usados no espaço de recursos transformado induzido pelo kernel.
wx b 1 ÿ ÿ ÿ ÿ + ÿ para você
=ÿ
1
eu
eu

Alguns kernels populares são os

ÿ ÿ 0,
(1) ( )P K(x, y) =seguintes:
x ÿ y +1 ,
2 2
Assim, para que ocorra um erro, o correspondente ÿ deve
=
ÿÿ

xy 2ÿ
x (=,K(x,
K xye
y) ) (2) (3)
tanh
eu

exceder a unidade, então ÿiÿ é um limite superior no número

resolvendo
ÿ ydoÿ SVM feito ÿ QP ÿ )P
O treinamento
oéproblema
eu

de erros de treinamento. Neste caso, o Lagrangeano é: Nth dimensional, onde N é o número de amostras
no conjunto de dados de treinamento. Resolvendo
este problema em
Machine Translated by Google
262 Informatica 31 (2007) 249–268
Os métodos QP padrão envolvem grandes operações com matrizes,
bem como cálculos numéricos demorados e, na maioria das vezes,
são muito lentos e impraticáveis para grandes problemas.
Sequential Minimal Optimization (SMO) é um algoritmo simples que
pode, de forma relativamente rápida, resolver o problema SVM QP
sem qualquer armazenamento extra de matriz e sem usar nenhuma
etapa numérica de otimização de QP (Platt, 1999). O SMO decompõe
o problema geral do QP em subproblemas do QP. Keerthi e Gilbert
(2002) sugeriram duas versões modificadas do SMO que são
significativamente mais rápidas que o SMO original na maioria das
situações.
Por fim, o problema de otimização de treinamento do SVM atinge
necessariamente um mínimo global, e evita terminar em um mínimo
local, o que pode acontecer em outros algoritmos de busca como
redes neurais. No entanto, os métodos SVM são binários, portanto,
no caso de um problema multiclasse, deve-se reduzir o problema a
um conjunto de múltiplos problemas de classificação binária. Dados
discretos apresentam outro problema, embora com redimensionamento
adequado possam ser obtidos bons resultados.
8 Discussão
Técnicas de aprendizado de máquina supervisionado são
aplicáveis em vários domínios. Vários artigos orientados a aplicativos
de ML podem ser encontrados em (Saitta e Neri, 1998) e (Witten e
Frank, 2005). A seguir, apresentamos nossas conclusões sobre o uso
de cada técnica.
Discussões de todos os prós e contras de cada algoritmo individual e
comparações empíricas de várias opções de viés estão além do
escopo deste artigo; como a escolha do algoritmo sempre depende
da tarefa em questão.
No entanto, esperamos que as observações a seguir possam ajudar
os profissionais a não selecionar um algoritmo totalmente inadequado
para seu problema.
Geralmente, SVMs e redes neurais tendem a ter um desempenho
muito melhor ao lidar com multidimensões e recursos contínuos. Por
outro lado, os sistemas baseados em lógica tendem a ter um
desempenho melhor ao lidar com recursos discretos/categóricos. Para
modelos de redes neurais e SVMs, é necessário um grande tamanho
de amostra para atingir sua máxima precisão de previsão, enquanto o
NB pode precisar de um conjunto de dados relativamente pequeno.
SVMs são algoritmos binários, portanto, fizemos uso de
codificação de saída com correção de erros (ECOC), ou, em suma, a
abordagem de codificação de saída, para reduzir um problema
multiclasse a um conjunto de múltiplos problemas de classificação
binária (Crammer & Singer, 2002 ). A codificação de saída para
problemas multiclasse é composta de dois estágios. No estágio de
treinamento, construímos vários classificadores binários independentes,
cada um baseado em uma partição diferente do conjunto de rótulos
em dois conjuntos separados. No segundo estágio, a parte de
classificação, as previsões dos classificadores binários são combinadas
para estender uma previsão no rótulo original de uma instância de
teste.
Existe um consenso geral de que k-NN é muito sensível a
características irrelevantes: essa característica pode ser explicada
pela forma como o algoritmo funciona. Além disso, a presença de
recursos irrelevantes pode tornar o treinamento da rede neural muito
ineficiente, até mesmo impraticável.
SB Kotsiantis
O viés mede a contribuição para o erro da tendência central do
classificador quando treinado em dados diferentes (Bauer & Kohavi,
1999). A variância é uma medida da contribuição para o erro dos
desvios da tendência central. Algoritmos de aprendizado com um
perfil de alto viés geralmente geram modelos simples e altamente
restritos que são bastante insensíveis às flutuações de dados, de
modo que a variância é baixa. Naive Bayes é considerado de alto
viés, pois assume que o conjunto de dados em consideração pode ser
resumido por uma única distribuição de probabilidade e que esse
modelo é suficiente para discriminar entre as classes. Pelo contrário,
algoritmos com um perfil de alta variância podem gerar modelos
arbitrariamente complexos que ajustam variações de dados mais
facilmente. Exemplos de algoritmos de alta variância são árvores de
decisão, redes neurais e SVMs. A armadilha óbvia das classes de
modelo de alta variância é o overfitting.
A maioria dos algoritmos de árvore de decisão não pode
funcionar bem com problemas que requerem particionamento diagonal.
A divisão do espaço de instância é ortogonal ao eixo de uma variável
e paralela a todos os outros eixos. Portanto, as regiões resultantes
são
após particionar todos os hiperretângulos. As RNAs e as SVMs
funcionam bem quando a multicolinearidade está presente e existe
uma relação não linear entre os recursos de entrada e saída.
Métodos de aprendizado preguiçosos requerem tempo de
treinamento zero porque a instância de treinamento é simplesmente
armazenada. Os métodos Naive Bayes também treinam muito
rapidamente, pois exigem apenas uma única passagem nos dados
para contar frequências (para variáveis discretas) ou para calcular a
função de densidade de probabilidade normal (para variáveis contínuas
sob suposições de normalidade). As árvores de decisão univariadas
também são consideradas bastante rápidas - de qualquer forma,
várias ordens de magnitude mais rápidas do que redes neurais e
SVMs.
Naive Bayes requer pouco espaço de armazenamento durante
os estágios de treinamento e classificação: o mínimo estrito é a
memória necessária para armazenar as probabilidades a priori e
condicionais. O algoritmo kNN básico usa muito espaço de
armazenamento para a fase de treinamento e seu espaço de execução
é pelo menos tão grande quanto seu espaço de treinamento. Pelo
contrário, para todos os aprendizes não preguiçosos, o espaço de
execução é geralmente muito menor do que o espaço de treinamento,
uma vez que o classificador resultante geralmente é um resumo
altamente condensado dos dados. Além disso, Naive Bayes e o kNN
podem ser facilmente usados como aprendizes incrementais, enquanto
os algoritmos de regras não podem. Naive Bayes é naturalmente
robusto a valores ausentes, uma vez que eles são simplesmente
ignorados no cálculo de probabilidades e, portanto, não têm impacto
na decisão final. Pelo contrário, kNN e redes neurais requerem
registros completos para fazer seu trabalho.
Além disso, o kNN é geralmente considerado intolerante ao ruído;
suas medidas de similaridade podem ser facilmente distorcidas por
erros nos valores dos atributos, levando-o a classificar erroneamente
uma nova instância com base nos vizinhos mais próximos errados.
Ao contrário do kNN, os aprendizes de regras e a maioria das árvores
de decisão são considerados resistentes ao ruído porque suas
estratégias de poda evitam o superajuste dos dados em geral e dos
dados ruidosos em particular.
Além disso, o número de parâmetros de modelo ou tempo de
execução a serem ajustados pelo usuário é um indicador de um
Machine Translated by Google

APRENDIZADO DE MÁQUINA SUPERVISIONADO: UMA REVISÃO DE... Informatica 31 (2007) 249–268 263

facilidade de uso do algoritmo. Como esperado, redes transparente, pois é facilmente compreendido por usuários
neurais e SVMs possuem mais parâmetros do que as como médicos, que descobrem que as explicações
demais técnicas. O kNN básico geralmente tem apenas um probabilísticas replicam sua maneira de diagnosticar (Kononenko, 1993).
único parâmetro (k) que é relativamente fácil de ajustar. Da mesma forma, as explicações de Naive Bayes em termos da
Algoritmos baseados em lógica são todos considerados soma dos ganhos de informação são muito transparentes, pois
muito fáceis de interpretar, enquanto redes neurais e SVMs são facilmente compreendidas por usuários como médicos, que
têm interpretabilidade notoriamente ruim. O k-NN também é descobrem que as explicações reproduzem sua maneira de
considerado como tendo uma interpretabilidade muito ruim diagnosticar (Kononenko, 1993).
porque uma coleção não estruturada de instâncias de Por fim, árvores de decisão e NB geralmente possuem
treinamento está longe de ser legível, especialmente se perfis operacionais diferentes, quando uma é muito precisa a
houver muitas delas. Enquanto a interpretabilidade diz outra não e vice-versa. Pelo contrário, as árvores de decisão e
respeito ao classificador típico gerado por um algoritmo de os classificadores de regras têm um perfil operacional
aprendizado, a transparência refere-se a se o princípio do semelhante. SVM e ANN também têm um perfil operacional
método é facilmente compreendido. Um caso particularmente semelhante. Nenhum algoritmo de aprendizado único pode
eloqüente é o de k-NN; embora o classificador resultante não superar uniformemente outros algoritmos em todos os conjuntos
seja totalmente interpretável, o método em si é bastante de dados. As características das técnicas de aprendizagem são
transparente porque apela à intuição de usuários humanos, comparadas na Tabela 4 (da evidência de estudos empíricos e teóricos existen
que raciocinam espontaneamente de maneira semelhante. Da mesma forma, Naive Bayes' é muito

Decisão Neural Ingênuo kNN SVM Alunos

árvores Redes Bayes de regras

Precisão em geral
** *** * ** **** **
Velocidade de aprendizado
*** * **** **** * **
em relação ao número
de atributos e ao número de
instâncias
Velocidade de classificação
**** **** **** * **** ****
Tolerância a valores ausentes
*** * **** * ** **
Tolerância a atributos *** * ** ** **** **
irrelevantes
Tolerância a atributos ** ** * ** *** **
redundantes
Tolerância a atributos
** *** * * *** **
altamente interdependentes (por
exemplo, problemas de paridade)
Lidando com
**** *** (não ***(não ***(não **(não ***(não
atributos discretos/binários/ discreto) contínuo) discreto)
contínuos diretamente discreto) diretamente contínuo)
Tolerância ao ruído ** ** *** * ** *
Lidando com o perigo de
** * *** *** ** **
overfitting
Tentativas de aprendizado
** *** **** **** ** *

incremental
**** * **** ** * ****
Capacidade de explicação/
transparência de conhecimento/
***
classificações Manipulação de parâmetros do modelo
* **** *** * ***
Tabela 4. Comparação dos algoritmos de aprendizado (**** estrelas representam o melhor e *estrelas o pior desempenho)

Quando confrontado com a decisão “Qual algoritmo (Dietterich, 2000). Embora ou talvez porque muitos
será mais preciso em nosso problema de classificação?”, métodos de criação de conjuntos tenham sido propostos,
a abordagem mais simples é estimar a precisão dos ainda não há uma imagem clara de qual método é o
algoritmos candidatos no problema e selecionar aquele melhor (Villada e Drissi, 2002). Assim, uma área ativa de
que parece ser mais preciso. O conceito de combinação pesquisa em aprendizado supervisionado é o estudo de
de classificadores é proposto como uma nova direção métodos para a construção de bons ensembles de classificadores.
para a melhoria do desempenho de classificadores Os mecanismos usados para construir um conjunto de classificadores
individuais. O objetivo dos algoritmos de integração de incluem: i) usar diferentes subconjuntos de dados de treinamento com
resultados de classificação é gerar resultados de sistema um único método de aprendizado, ii) usar diferentes parâmetros de
mais certos, precisos e exatos. Numerosos métodos treinamento com um único método de treinamento (por exemplo, usando
têm sido sugeridos para a criação de ensemble de classificadores
Machine Translated by Google
264 Informatica 31 (2007) 249–268
diferentes pesos iniciais para cada rede neural em um ensemble)
e iii) usando diferentes métodos de aprendizagem.
9 Conclusões
Este artigo descreve as técnicas supervisionadas mais
conhecidas em relativo detalhe. Devemos observar que nossa lista
de referências não é uma lista abrangente de artigos discutindo
métodos supervisionados: nosso objetivo era produzir uma revisão
crítica das ideias-chave, em vez de uma simples lista de todas as
publicações que discutiram ou fizeram uso dessas ideias. Apesar
disso, esperamos que as referências citadas cubram as principais
questões teóricas e forneçam acesso aos principais ramos da
literatura que tratam de tais métodos, orientando o pesquisador
em direções de pesquisa interessantes.
A questão-chave ao lidar com a classificação de ML não é se
um algoritmo de aprendizado é superior a outros, mas em quais
condições um determinado método pode superar significativamente
outros em um determinado problema de aplicação. O meta-learning
está se movendo nessa direção, tentando encontrar funções que
mapeiam conjuntos de dados para o desempenho do algoritmo
(Kalousis e Gama, 2004). Para tanto, o meta-aprendizado utiliza
um conjunto de atributos, denominados meta-atributos, para
representar as características das tarefas de aprendizagem, e
busca as correlações entre esses atributos e o desempenho dos
algoritmos de aprendizagem. Algumas características das tarefas
de aprendizagem são: o número de instâncias, a proporção de
atributos categóricos, a proporção de valores ausentes, a entropia
das classes, etc. Brazdil et al. (2003) forneceu uma extensa lista
de informações e medidas estatísticas para um conjunto de dados.
Após um melhor entendimento dos pontos fortes e limitações
de cada método, deve-se investigar a possibilidade de integrar
dois ou mais algoritmos para resolver um problema. O objetivo é
utilizar os pontos fortes de um método para complementar os
pontos fracos de outro. Se estivermos interessados apenas na
melhor precisão de classificação possível, pode ser difícil ou
impossível encontrar um único classificador que funcione tão bem
quanto um bom conjunto de classificadores. Apesar das vantagens
óbvias, os métodos ensemble têm pelo menos três pontos fracos.
A primeira fraqueza é o aumento do armazenamento como
consequência direta da exigência de que todos os classificadores
de componentes, em vez de um único classificador, precisem ser
armazenados após o treinamento. O armazenamento total depende
do tamanho de cada classificador de componente e do tamanho
do ensemble (número de classificadores no ensemble). A segunda
fraqueza é o aumento da computação porque, para classificar uma
consulta de entrada, todos os classificadores de componentes (em
vez de um único classificador) devem ser processados. A última
fraqueza é a diminuição da compreensibilidade. Com o
envolvimento de múltiplos classificadores na tomada de decisão,
é mais difícil para usuários não especialistas perceber o processo
de raciocínio subjacente que leva a uma decisão. Uma primeira
tentativa de extrair regras significativas de ensembles foi
apresentada em (Wall et al, 2003).
Por todas essas razões, a aplicação de métodos de ensemble
é sugerida apenas se estivermos interessados apenas na melhor
precisão de classificação possível. Outra hora
SB Kotsiantis
Uma tentativa demorada que tentou aumentar a precisão da
classificação sem diminuir a compreensibilidade é o procedimento
de seleção de recursos do wrapper (Guyon & Elissee, 2003).
Teoricamente, ter mais recursos deveria resultar em mais poder
de discriminação. No entanto, a experiência prática com algoritmos
de aprendizado de máquina mostrou que nem sempre é esse o
caso. Os métodos wrapper envolvem a seleção de recursos em
torno do algoritmo de indução a ser usado, usando validação
cruzada para prever os benefícios de adicionar ou remover um
recurso do subconjunto de recursos usado.
Por fim, muitos pesquisadores em aprendizado de máquina
estão acostumados a lidar com arquivos simples e algoritmos que
são executados em minutos ou segundos em uma plataforma de
desktop. Para esses pesquisadores, 100.000 instâncias com duas
dúzias de recursos é o início da gama de conjuntos de dados
“muito grandes”. No entanto, a comunidade de banco de dados
lida com bancos de dados gigabyte. Obviamente, é improvável
que todos os dados em um data warehouse sejam minerados simultaneamente.
A maioria dos algoritmos de aprendizado atuais são
computacionalmente caros e exigem que todos os dados residam
na memória principal, o que é claramente insustentável para
muitos problemas e bancos de dados realistas. Uma abordagem
ortogonal é particionar os dados, evitando a necessidade de
executar algoritmos em conjuntos de dados muito grandes. O
aprendizado de máquina distribuído envolve dividir o conjunto de
dados em subconjuntos, aprendendo com esses subconjuntos
simultaneamente e combinando os resultados (Basak e Kothari,
2004). Sistemas de agentes distribuídos podem ser usados para
essa execução paralela de processos de aprendizado de máquina
(Klusch et al., 2003). Algoritmos de aprendizado de máquina não
paralelos ainda podem ser aplicados em dados locais (relativos ao
agente) porque informações sobre outras fontes de dados não são
necessárias para operações locais. É responsabilidade dos
agentes integrar as informações de várias fontes locais em
colaboração com outros agentes.
Referências
[1] Ácido, S. e de Campos. LM (2003). Procurando Estruturas de
Redes Bayesianas no Espaço de Grafos Acíclicos
Parcialmente Direcionados Restritos.
Journal of Artificial Intelligence Research 18: 445-490.
[2] Aha, D. (1997). Aprendizagem preguiçosa. Dordrecht: Kluwer
Editoras Acadêmicas.
[3] An, A., Cercone, N. (1999), Discretização de atributos contínuos
para aprender regras de classificação. Terceira Conferência
Pacífico-Ásia sobre Metodologias para Descoberta de
Conhecimento e Mineração de Dados, 509-514.
[4] An, A., Cercone, N. (2000), as medidas de qualidade de regras
melhoram a precisão da indução de regras: uma abordagem
experimental, notas de aula em ciência da computação,
volume 1932, páginas 119-129.
[5] Auer P. & Warmuth M. (1998). Rastreando a Melhor Disjunção.
Machine Learning 32: 127–150.
[6] Baik, S. Bala, J. (2004), A Decision Tree Algorithm for
Distributed Data Mining: Towards Network Intrusion
Detection, Lecture Notes in Computer Science, Volume
3046, Páginas 206 – 212.
Machine Translated by Google
APRENDIZADO DE MÁQUINA SUPERVISIONADO: UMA REVISÃO DE...
[7] Barto, AG & Sutton, R. (1997). Introdução ao Aprendizado por
Reforço. Imprensa MIT.
[8] Batista, G., & Monard, MC, (2003), Uma Análise de Quatro
Métodos de Tratamento de Dados Perdidos para Aprendizagem
Supervisionada, Inteligência Artificial Aplicada, vol. 17,
pp.519-533.
[9] Basak., J., Kothari, R. (2004), um paradigma de classificação
para dados distribuídos verticalmente particionados.
Computação Neural, 16(7):1525-1544.
[10] Blum, A. (1997), Suporte Empírico para Winnow e Algoritmos
de Maioria Ponderada: Resultados em um Domínio de
Agendamento de Calendário, Aprendizado de Máquina,
Volume 26, Edição 1, Páginas 5-23.
[11] Bonarini, A. (2000), Uma Introdução à Aprendizagem de
Sistemas de Classificadores Fuzzy, Notas de Palestra em
Ciência da Computação, Volume 1813, Páginas 83-92.
[12] Bouckaert, R. (2003). Escolher entre dois algoritmos de
aprendizagem baseados em testes calibrados. Proc 20ª Int
Conf sobre Aprendizado de Máquina, pp. 51-58.
Morgan Kaufmann.
[13] Bouckaert, R. (2004), Naive Bayes Classifiers That Perform Well
with Continuous Variables, Lecture Notes in Computer Science,
Volume 3339, Páginas 1089 – 1094.
[14] Brazdil P., Soares C. e Da Costa J. (2003), Ranking Learning
Algorithms: Using IBL and Meta-Learning on Accuracy and
Time Results, Machine Learning, 50: 251-277.
[15] Breiman L., Friedman JH, Olshen RA, Stone CJ
(1984) Classification and Regression Trees, Wadsforth
International Group.
[16] Breiman, L., Bagging Preditors. Machine Learning, 24 (1996)
123-140.
[17] Breslow, LA & Aha, DW (1997). Simplificando árvores de
decisão: Uma pesquisa. Knowledge Engineering Review 12:
1–40.
[18] Brighton, H. & Mellish, C. (2002), Avanços na Seleção de
Instâncias para Algoritmos de Aprendizagem Baseados em
Instâncias. Mineração de dados e descoberta de conhecimento
6: 153–172.
[19] Bruha. I. (2000), From machine learning to knowledge discovery:
Survey of preprocessing and postprocessing. , Análise
Inteligente de Dados, vol. 4, pp. 363-374.
[20] Burges, C. (1998). Um tutorial sobre máquinas de vetores de
suporte para reconhecimento de padrões. Mineração de dados
e descoberta de conhecimento. 2(2):1-47.
[21] Camargo, LS & Yoneyama, T. (2001).
Especificação de Conjuntos de Treinamento e Número de
Neurônios Ocultos para Perceptrons Multicamadas.
Computação Neural 13: 2673–2680.
[22] Castellano, G., Fanelli, A., & Pelillo, M. (1997). Um algoritmo
iterativo de poda para redes neurais feedforward. Transações
IEEE em redes neurais 8: 519–531.
[23] Cestnik, B., Kononenko, I., Bratko, I., (1987).
Assistant 86: Uma ferramenta de elicitação de conhecimento
para usuários sofisticados. In: Actas da Segunda Sessão de
Trabalho Europeia sobre Aprendizagem. pp. 31-45.
[24] Cestnik, B. (1990), Estimando probabilidades: uma tarefa crucial
no aprendizado de máquina. Em Processos de
Informatica 31 (2007) 249–268 265
a Conferência Europeia sobre Inteligência Artificial, páginas
147-149.
[25] Cheng, J. & Greiner, R. (2001). Learning Bayesian Belief
Network Classifiers: Algorithms and System, In Stroulia, E. &
Matwin, S. (ed.), AI 2001, 141-151, LNAI 2056, [26] Cheng, J.,
Greiner, R., Kelly,
J., Bell, D., & Liu, W.
(2002). Aprendendo redes bayesianas a partir de dados: uma
abordagem baseada na teoria da informação. Inteligência
Artificial 137: 43–90.
[27] Chickering, DM (2002). Identificação de estrutura ótima com
pesquisa gananciosa. Journal of Machine Learning Research,
vol. 3, pp. 507-554.
[28] Clark, P., Niblett, T. (1989), The CN2 Induction Algorithm.
Machine Learning, 3(4):261-283.
[29] Cohen, W. (1995), Fast Effective Rule Induction. Em Proceedings
of ICML-95, 115-123.
[30] Cover, T., Hart, P. (1967), Classificação do padrão vizinho mais
próximo. IEEE Transactions on Information Theory, 13(1): 21–
7.
[31] Cowell, RG (2001). Condições sob as quais a independência
condicional e os métodos de pontuação levam à seleção
idêntica de modelos de rede bayesiana. Proc. 17ª Conferência
Internacional sobre Incerteza em Inteligência Artificial.
[32] Crammer, K. & Singer, Y. (2002). Sobre a capacidade de
aprendizado e design de códigos de saída para problemas
multiclasse. Aprendizado de Máquina 47: 201–233.
[33] Cristianini, N. & Shawe-Taylor, J. (2000). Uma introdução às
máquinas de vetores de suporte e outros métodos de
aprendizado baseados em kernel. Cambridge University Press,
Cambridge.
[34] Csiszar, I. (1996), Maxent, matemática e teoria da informação.
Em K. Hanson e R. Silver, editores, Maximum Entropy and
Bayesian Methods.
Editora Acadêmica Kluwer.
[35] De Mantaras & Armengol E. (1998). Aprendizado de máquina a
partir de exemplos: métodos indutivos e preguiçosos. Data &
Knowledge Engineering 25: 99-123.
[36] Dietterich, TG (1998), Testes Estatísticos Aproximados para
Comparar Algoritmos de Aprendizagem de Classificação
Supervisionada. Computação neural, 10(7) 1895–1924.
[37] Dietterich, TG (2000). Uma comparação experimental de três
métodos para construir conjuntos de árvores de decisão:
Bagging, Boosting e Randomização, Machine Learning 40:
139–157.
[38] Domingos, P. & Pazzani, M. (1997). Sobre a otimalidade do
classificador bayesiano simples sob perda zero-um. Machine
Learning 29: 103-130.
[39] Dutton, D. & Conroy, G. (1996), Uma revisão de aprendizado de
máquina, Knowledge Engineering Review 12: 341-367.
[40] Eklund, P., Hoang, A. (2002), Uma Pesquisa de Desempenho
de Algoritmos de Aprendizagem de Máquina de Domínio
Público Relatório Técnico, Escola de Tecnologia da Informação,
Griffith University.
Machine Translated by Google
266 Informatica 31 (2007) 249–268
[41] Elomaa, T. & Rousu, J. (1999). Multidivisão Geral e Eficiente de
Atributos Numéricos.
Aprendizado de Máquina 36, 201–244.
[42] Elomaa T. (1999). Os vieses das estratégias de poda de árvores
de decisão. Notas de aula em Ciência da Computação 1642.
Springer, pp. 63-74.
[43] Flach, PA & Lavrac, N. (2000). O papel da construção de
características no aprendizado de regras indutivas. De Raedt, L.
& Kramer, S., (ed.), In Proceedings of the ICML2000 workshop
on Attribute-Value Learning and Relational Learning: Bridging
the Gap, Stanford University.
[44] Frank, E. & Witten, I. (1998). Gerando conjuntos de regras
precisos sem otimização global. Em Shavlik, J., (eds), Machine
Learning: Proceedings of the Fifteenth International Conference,
Morgan Kaufmann Publishers, San Francisco, CA.
[45] Freund, Y. & Schapire, R. (1999), classificação de margem
grande usando o algoritmo Perceptron, Machine Learning 37:
277–296.
[46] Friedman, JH (1989), Análise Discriminante Regularizada. Jornal
da Associação Estatística Americana.
[47] Friedman, N., Geiger, D. & Goldszmidt M. (1997).
Classificadores de redes bayesianas. Machine Learning 29:
131-163.
[48] Friedman, N. & Koller, D. (2003). Ser Bayesiano Sobre Estrutura
de Rede: Uma Abordagem Bayesiana para Descoberta de
Estrutura em Redes Bayesianas.
Aprendizado de Máquina 50(1): 95-125.
[49] Furnkranz, J. (1997). Algoritmos de poda para aprendizado de
regras. Machine Learning 27: 139-171.
[50] Furnkranz, J. (1999). Aprendizado de Regras Separar e
Conquistar. Revisão de Inteligência Artificial 13: 3-54.
[51] Furnkranz, J. (2001). Aprendizagem da Regra Round Robin.
Em Proceedings of the 18th International Conference on
Machine Learning (ICML-01), 146-153.
[52] Furnkranz, J., Flach, P. (2005), ROC 'n' Rule Learning—Towards
a Better Understanding of Covering Algorithms, Machine
Learning, Volume 58 (1), pp. 39 – 77.
[53] Gama, J. & Brazdil, P. (1999). Árvore Linear.
Intelligent Data Analysis 3: 1-22 [54]
Gehrke, J., Ramakrishnan, R. & Ganti, V. (2000), RainForest—A
Framework for Fast Decision Tree Construction of Large
Datasets, Data Mining and Knowledge Discovery, Volume 4 ,
Edição 2 a 3, julho de 2000, páginas 127 a 162 [55] Genton,
M. (2001). Classes de
Kernels para Aprendizado de Máquina: Uma Perspectiva Estatística.
Journal of Machine Learning Research 2: 299-312.
[56] Good IJ (1950), Probability and the Weighing of Evidence,
Londres, Charles Grin.
[57] Guo, G., Wang, H., Bell, D., Bi, Y., Greer, K.
(2003), KNN Model-Based Approach in Classification, Lecture
Notes in Computer Science, Volume 2888, Páginas 986 – 996.
[58] Guyon, I, Elissee, A. (2003), Uma introdução à seleção de
variáveis e características. Journal of Machine Learning
Research, 3:1157 1182.
SB Kotsiantis
[59] Hunt E., Martin J & Stone P. (1966), Experiments in Induction,
Nova York, Academic Press.
[60] Heckerman, D., Meek, C. & Cooper, G. (1999). Uma Abordagem
Bayesiana para a Descoberta Causal. Em Glymour, C. e G.
Cooper, (ed.), Computation, Causation, and Discovery,
141-165. Imprensa MIT.
[61] Hodge, V., Austin, J. (2004), A Survey of Outlier Detection
Methodologies, Artificial Intelligence Review, Volume 22,
Edição 2, pp. 85-126.
[62] Japkowicz N. e Stephen, S. (2002), The Class Imbalance
Problem: A Systematic Study Intelligent Data Analysis, Volume
6, Número 5.
[63] Jain, AK, Murty, MN e Flynn, P. (1999), Data clustering: A review,
ACM Computing Surveys, 31(3): 264–323.
[64] Jensen, F. (1996). Uma Introdução às Redes Bayesianas.
Springer.
[65] Jordan, MI (1998), Learning in Graphical Models.
MIT Press, Cambridge, MA.
[66] Kalousis A., Gama, G. (2004), Sobre Dados e Algoritmos:
Compreendendo o Desempenho Indutivo, Machine Learning
54: 275–312.
[67] Keerthi, S. & Gilbert, E. (2002). Convergência de um Algoritmo
SMO Generalizado para Projeto de Classificador SVM.
Machine Learning 46: 351–360.
[68] Kivinen, J. (2002), Online Learning of Linear Classifiers,
Advanced Lectures on Machine Learning: Machine Learning
Summer School 2002, Austrália, 11-22 de fevereiro, ISSN:
0302-9743, pp. 235 – 257.
[69] Klusch, M., Lodi, S., Moro, G. (2003), Mineração de Dados
Distribuída Baseada em Agente: O Esquema KDEC. Em
Intelligent Information Agents: The AgentLink Perspective,
LNAI 2586, páginas 104-122. Springer.
[70] Kon, M. & Plaskota, L. (2000), Complexidade da informação de
redes neurais, Redes neurais 13: 365–375.
[71] Kononenko, I. (1991), "Semi-Naive Bayesian Classifier", In
Proceedings of the six European Working Session on Learning,
206-219.
[72] Kononenko, I. (1993), aprendizagem indutiva e bayesiana em
diagnóstico médico. Inteligência Artificial Aplicada 7(4): 317-337.
[73] Kononenko, I. (1994), 'Estimando atributos: análise e extensões
de alívio'. In: L. De Raedt e F. Bergadano (eds.): Machine
Learning: ECML-94. pp. 171–182, Springer Verlag.
[74] Kubat, Miroslav Cooperson Martin (2001), Uma técnica de
redução de classificação do vizinho
para
mais próximo: Pequenos
grupos de exemplos. Intel.
Análise de Dados. 5(6): 463-476.
[75] Lindgren, T. (2004), Methods for Rule Conflict Resolution,
Lecture Notes in Computer Science, Volume 3201, Páginas
262 – 273.
[76] Littlestone, N. & Warmuth, M. (1994). O algoritmo da maioria
ponderada. Informação e Computação 108(2): 212–261.
[77] Liu, H. e H. Motoda (2001), Seleção de Instância e Mineração
Construtiva de Dados, Kluwer, Boston.
Machine Translated by Google
APRENDIZADO DE MÁQUINA SUPERVISIONADO: UMA REVISÃO DE...
[78] Madden, M. (2003), O Desempenho de Classificadores de
Rede Bayesiana Construídos Usando Diferentes Técnicas,
Procedimentos da Conferência Europeia sobre Aprendizado
de Máquina, Workshop sobre Modelos Gráficos
Probabilísticos para Classificação, pp. 59-70.
[79] Markovitch S. & Rosenstein D. (2002), Geração de recursos
usando funções gerais de construção, Machine Learning
49: 59-98.
[80] McSherry, D. (1999). Indução estratégica de árvores de
decisão. Knowledge-Based Systems, 12(5-6):269-275.
[81] Michalski, RS, Chilausky, RL (1980), Aprendendo ouvindo e
aprendendo com exemplos: uma comparação experimental
dos dois métodos de aquisição de conhecimento no contexto
de desenvolvimento e sistema especialista para diagnóstico
de doenças da soja.
Análise de Políticas e Sistemas de Informação, 4(2)..
[82] Mika, S., Rätsch, G., Weston, J., Schölkopf, B. e Müller, K.-R.
(1999), análise discriminante de Fisher com kernels. Em Y.-
H. Hu, J. Larsen, E. Wilson e S. Douglas, editores, Neural
Networks for Signal Processing IX, páginas 41-48. IEEE.
[83] Mitchell, T. (1997). Aprendizado de Máquina. McGraw
Colina.
[84] Murthy, (1998), Automatic Construction of Decision Trees
from Data: A Multi-Disciplinary Survey, Data Mining and
Knowledge Discovery 2: 345–389.
[85] Nadeau, C. e Bengio, Y. (2003), Inferência para o erro de
generalização. Em Machine Learning 52:239–281.
[86] Neocleous, C. & Schizas, C., (2002), Artificial Neural Network
Learning: A Comparative Review, LNAI 2308, pp. 300–313,
Springer-Verlag Berlin Heidelberg.
[87] Nilsson, NJ (1965). Máquinas de aprender. Nova York:
McGraw-Hill.
[88] Olcay Taner Yÿldÿz, Onur Dikmen (2007), Árvores de decisão
paralelas univariadas, Cartas de Reconhecimento de
Padrões, Volume 28 Edição
, 7 (maio de 2007), Páginas:
825-832.
[89] Okamoto, S., Yugami, N. (2003), Efeitos de características de
domínio em algoritmos de aprendizado baseados em
instâncias. Ciência da Computação Teórica 298, 207-233.
[90] Parekh, R., e Yang, J., e Honavar, V. (2000), Constructive
Neural Network Learning Algorithms for Pattern Classification.
Transações IEEE em Redes Neurais. 11(2), pp. 436-451.
[91] Platt, J. (1999). Usando esparsidade e QP analítico para
acelerar o treinamento de máquinas de vetores de suporte.
Em Kearns, M., Solla, S. & Cohn, D. (ed.), Avanços em
sistemas de processamento de informações neurais. Imprensa MIT.
[92] Quinlan, JR (1979), "Descobrindo regras por indução a partir
de grandes coleções de exemplos", D.
Michie ed., Sistemas Especialistas na era da Microeletrônica,
pp. 168-201.
[93] Quinlan, JR (1993). C4.5: Programas para aprendizado de
máquina. Morgan Kaufmann, São Francisco
[94] Rastogi, R. & Shim, K. (2000). PÚBLICO: Um classificador de
árvore de decisão que integra a construção
Informatica 31 (2007) 249–268 267
e Poda. Mineração de dados e descoberta de conhecimento
4: 315–344.
[95] Reinartz T. (2002), Uma visão unificadora sobre seleção de
instâncias, mineração de dados e descoberta de
conhecimento, 6, 191–210, Kluwer Academic Publishers.
[96] Robert, J., Howlett LCJ (2001), Radial Basis Function
Networks 2: New Advances in Design.
[97] Rosenblatt, (1962), Princípios F., Neurodinâmica. de
Spartan, Nova York [98] Roy, A. (2000),
sobre conexionismo, extração de regras e aprendizado semelhante
ao cérebro. IEEE Transactions on Fuzzy Systems, 8(2):
222-227.
[99] Ruggieri, S. (2001). Eficiente C4.5. IEEE Transactions on
Knowledge and Data Engineering 14 (2): 438-444.
[100] Rumelhart, DE, Hinton, GE, Williams, RJ
(1986), Aprendendo representações internas por propagação
de erro. In: Rumelhart DE, McClelland JL et al. (eds.)
Processamento Distribuído Paralelo: Explorações na
Microestrutura da Cognição.
MIT Press, Cambridge, MA, vol. 1, pp. 318-362.
[101] Saad, D. (1998). Aprendizagem online em redes neurais.
Londres: Cambridge University Press.
[102] Sanchez, J., Barandela, R., Ferri, F. (2002), On Filtering the
Training Prototypes in Nearest Neighbor Classification,
Lecture Notes in Computer Science, Volume 2504, Pages
239 - 248 [103] Scholkopf, C ., Burges, JC & Smola, AJ
(1999). Avanços em Métodos de Kernel. Imprensa MIT.
[104] Setiono R. e Loew, WK (2000), FERNN: Um algoritmo para
extração rápida de regras de redes neurais, Applied
Intelligence 12, 15-25.
[105] Siddique, MNH e Tokhi, MO (2001), Treinamento de redes
neurais: retropropagação vs.
Algoritmos Genéticos, Conferência Conjunta Internacional
IEEE sobre Redes Neurais, vol. 4, pp. 2673-2678.
[106] Smyth, P, Goodman, R., M. (1990), Rule induction using
information theory, In G. Piatetsky Shapiro e W. Frawley
(eds), Knowledge Discovery in Databases, MIT Press.
[107] Tjen-Sien, L., Wei-Yin, L., Yu-Shan, S. (2000).
Uma comparação de precisão de previsão, complexidade e
tempo de treinamento de trinta e três algoritmos de
classificação antigos e novos. Machine Learning 40: 203–
228.
[108] Utgoff, P., Berkman, N., Clouse, J. (1997), Indução de
Árvore de Decisão Baseada em Reestruturação de Árvore
Eficiente, Aprendizado de Máquina, Volume 29, Edição 1,
Páginas: 5 – 44.
[109] Vapnik, V. (1995), The Nature of Statistical Learning Theory}.
Springer Verlag.
[110] Veropoulos, K., Campbell, C. & Cristianini, N.
(1999). Controlando a sensibilidade das máquinas de
vetores de suporte. In Proceedings of the International Joint
Conference on Artificial Intelligence (IJCAI99).
[111] Villada, R. & Drissi, Y. (2002). Uma visão em perspectiva e
pesquisa de meta-aprendizagem. Revisão de Inteligência
Artificial 18: 77–95.
Machine Translated by Google
268 Informatica 31 (2007) 249–268
[112] Vivarelli, F. & Williams, C. (2001). Comparação de
algoritmos de redes neurais Bayesianas para classificação
de imagens externas segmentadas. Redes Neurais 14:
427-437.
[113] Wall, R., Cunningham, P., Walsh, P., Byrne, S.
(2003), Explicando a saída de conjuntos no suporte à
decisão médica caso a caso, Inteligência Artificial em
Medicina, vol. 28(2) 191-206.
[114] Weigend, AS, Rumelhart, DE, & Huberman, BA (1991).
Generalização por eliminação de pesos com aplicação à
previsão. Em: RP Lippmann, J. Moody, & DS Touretzky
(eds.), Avanços em Sistemas de Processamento de
Informação Neural 3, San Mateo, CA: Morgan Kaufmann.
[115] Wettschereck, D., Aha, DW & Mohri, T.
(1997). Uma revisão e avaliação empírica de métodos de
ponderação de recursos para uma classe de algoritmos de
aprendizado lento. Revisão de Inteligência Artificial 10:1–
37.
[116] Wilson, DR & Martinez, T. (2000). Técnicas de Redução
para
Algoritmos de Aprendizagem Baseada em Instâncias.
Machine Learning 38: 257–286.
[117] Witten, I. & Frank, E. (2005), "Mineração de dados:
ferramentas e técnicas práticas de aprendizado de
máquina", 2ª edição, Morgan Kaufmann, San Francisco,
2005.
[118] Yam, J. & Chow, W. (2001). Aprimoramento de velocidade
de treinamento de redes feedforward por Optimal
SB Kotsiantis
Inicialização dos coeficientes sinápticos. IEEE Transactions
on Neural Networks 12: 430-434.
[119] Yang, Y., Webb, G. (2003), On Why Discretization Works
for Naive-Bayes Classifiers, Lecture Notes in Computer
Science, Volume 2903, Páginas 440 – 452.
[120] Yen, GG e Lu, H. (2000), algoritmo genético hierárquico
baseado em projeto de redes neurais, em: Simpósio IEEE
sobre combinações de computação evolutiva e redes
neurais, pp. 168–175.
[121] Yu, L., Liu, H. (2004), Efficient Feature Selection via
Analysis of Relevance and Redundancy, JMLR,
5(outubro):1205-1224.
[122] Zhang, G. (2000), Redes neurais para classificação: uma
pesquisa. IEEE Transactions on Systems, Man, and
Cybernetics, Part C 30(4): 451-462.
[123] Zhang, S., Zhang, C., Yang, Q. (2002). Preparação de
dados para mineração de dados. Inteligência Artificial
Aplicada, Volume 17, pp. 375 - 381.
[124] Zheng, Z. (1998). Construindo conjunções usando busca
sistemática em árvores de decisão.
Knowledge Based Systems Journal 10: 421–430.
[125] Zheng, Z. (2000). Construindo Atributos X-de-N para
Aprendizado em Árvore de Decisão. Aprendizado de
Máquina 40: 35–75.
[126] Zhou, Z. (2004), Rule Extraction: Using Neural Networks or
For Neural Networks?, Journal of Computer Science and
Technology, Volume 19, Edição 2, Páginas: 249 – 253.