Introduo Aprendizado de Mquina

Prof. Alexandre Monteiro

Recife

Contatos

Prof. Guilherme Alexandre Monteiro Reinaldo

Apelido: Alexandre Cordel

E-mail/gtalk: alexandrecordel@gmail.com
greinaldo@fbv.edu.br

Site: http://www.alexandrecordel.com.br/fbv

Celular: (81) 9801-1878

Introduo

Aprendizado de Mquina (do ingls, Machine Learning) a

rea de Inteligncia Artificial cujo objetivo o
desenvolvimento de tcnicas computacionais sobre
processo de aprendizado (BISHOP, 2007).

LES/PUC-Rio

Exemplo: Recomendao de filmes

para expectadores

10% de melhoria = prmio de 1 milho de dlares

A essncia de Aprendizado de Mquina
Um padro existe
No podemos descrever o padro matematicamente
Ns temos dados do problema
Possvel Soluo
Registro para usurio
Registro para o filme
Compara registros e aprende
Exemplo: Sistema Especialistas e Sistemas de Recomendao

Produo de jogos e histrias

interativas

Como modelar o ambiente fsico e o

comportamento/personalidade dos personagens?

Como permitir uma boa interao com usurio?

Exemplos: Games

The Sims

FIFA Soccer
5

Controle de robs

Como obter navegao segura e eficiente, estabilidade,

manipulao fina e verstil?
E no caso de ambientes dinmicos e imprevisveis?

Exemplo:
HAZBOT: ambientes com
atmosfera inflamvel

Busca de informao na Web

Como localizar a informao relevante?

Exemplos: Data Mining, Data Mart, Data Warehouse, Business
Intelligence, Web Semntica.

Previso

Como prever o valor do dlar (ou o clima) amanh?

Que dados so relevantes? H comportamentos recorrentes?

possvel prever o futuro?

Exemplos: Homebrokers, WMS, Roteirizao, Bolsa de Valores,

Diagnsticos Clnicos.

Deteco de Intruso e Filtragem de Spam

Como saber se uma mensagem lixo ou de fato interessa?

Como saber se um dado comportamento de usurio suspeito e
como lidar com isto?
Exemplos: Antispam, DLP (Data Loss Prevention)

Sistemas de Controle

Como brecar o carro sem as rodas deslizarem em funo da velocidade, atrito, etc.?

Como focar a cmera em funo de luminosidade, distncia, etc.?

Como ajustar a quantidade de roupa, fluxo de gua, etc., sem danificar o contedo?

Exemplos: ABS, Zoom Digital, Mquinas Inteligentes (Sensores)

10

Reconhecimento

Exemplo: Biometria, OCR e ICR

O que estes problemas tm em

comum?

Grande complexidade (nmero, variedade e natureza das

tarefas)
No h soluo algortmica, mas existe conhecimento
Modelagem do comportamento de um ser inteligente
(conhecimento, aprendizagem, iniciativa, etc.)
Tentam identificar/estabelecer PADRES.
12

Ideia por trs da aprendizagem

As percepes devem ser usadas no apenas para agir, mas

tambm para melhorar a habilidade do agente para agir no
futuro.
A aprendizagem ocorre medida que o agente observa suas
interaes com o mundo e com seus prprios processos de tomada
de deciso.
A aprendizagem de mquina apresenta uma grande variedade de
elementos de aprendizagem, afetados por 3 questes:
Os componentes que devem ser aprendidos;
A realimentao disponvel para reaprender esses componentes
E a representao que ser usada para os componentes

Tipos de Realimentao

Supervisionada: aprendizagem de uma funo a partir de

exemplos de entradas e sadas que podem indicar padres
de comportamento. (Observaes e Percepes)
No-supervisionada: envolve aprendizagem de padres da
entrada, quando no so fornecidos valores de sadas
especficos. (Raciocnio Probabilstico)
Por reforo: deve aprender a partir do reforo ou seja, da
recompensa, que pode ser visto como a sada. (Analisa cada
resultado obtido de modo a tentar identificar padres)

Sub-reas da IA

Redes
Neurais

Raciocnio
Baseado
em Casos
Agentes
Inteligentes

Computao
Evolucionria
Raciocnio
Baseado
em Regras

Aprendizado
Mquina

Lgica
Fuzzy

Robtica

Linguagem
Natural
15

AM - Motivao

Desde que os computadores foram inventados temos nos

perguntado:
Eles so capazes de aprender?
Infelizmente ainda no sabemos como fazer computadores
aprenderem de uma maneira similar a como os humanos
aprendem.
Entretanto, foram desenvolvidos algoritmos que so
eficientes em certos tipos de tarefas de aprendizagem e
um entendimento terico de aprendizagem est
comeando a surgir.

AM - Motivao

Em geral, difcil articular o conhecimento que precisamos

para construir um sistema de IA
Na verdade, algumas vezes, no temos nem este
conhecimento
Em alguns casos, podemos construir sistemas em que eles
mesmos aprendem o conhecimento necessrio

O que Aprendizado?

Aprender fatos por meio de observao e explorao

Melhorar habilidades motoras/cognitivas por meio de
prtica
Organizar novo conhecimento em representaes
efetivas e gerais

Aprendizado de Mquina

Principal preocupao
Construo de programas de computador que
melhoram seu desempenho por meio de experincia

Tcnicas orientadas a dados

Aprendem automaticamente a partir de grandes
volumes de dados
Gerao de hipteses a partir dos dados

Exemplos aprendizagem de mquina

A partir de informaes sobre pacientes relativas a gravidez,

aprender a prever classes de futuros pacientes de alto risco
que devem fazer cesrea

Anlise de risco de crdito: prever clientes mal pagadores

Prever comportamento de compra de clientes e-commerce.

Recomendar filmes para clientes.

etc

Multidisciplinaridade da
Aprendizagem de Mquina

Inteligncia Artificial

Estatstica e Probabilidade

Teoria da Informao

Teoria de Controle

Filosofia

Psicologia

Neurobiologia

Robtica

Inferncia Indutiva (1/2)

Induo
Um processo de raciocnio para uma concluso sobre todos os membros de
uma classe por meio do exame de apenas uns poucos membros da classe
De maneira geral, raciocnio do particular para o geral
Por exemplo, se eu noto que:
- Todos os pacientes com Dficit de Ateno atendidos em 1986 sofriam
de Ansiedade
- Todos os pacientes com Dficit de Ateno atendidos em 1987 sofriam
de Ansiedade
- ...
- Posso inferir logicamente que Todos os pacientes que sofrem de
Dficit de Ateno tambm sofrem de Ansiedade
- Isto pode ser ou no verdade, mas propicia uma boa generalizao

Ex: Informao vs Conhecimento

O que siginificam os dados abaixo?

Gilberto Silva
08398011878
10042011
Rui Barbosa
51
CD

Nome Funcionrio
CPF: 083.980.118-78
RG: 10.042.011
Rua
Nmero
Lotao: Centro de Distribuio I RM Express

Contexto: Ficha de Admisso de Funcionrio no Centro de

Distribuio I da RM Express.

Inferncia Indutiva (2/2)

De uma maneira mais formal...REPRESENTAO

Para um conjunto de objetos, X={a,b,c,d,...}, se a propriedade P
verdade para a, e se P verdade para b, e se P verdade para c,...
ento P verdade para todo X
O conhecimento novo baseado em vrios casos (induo)
geralmente verdadeiro desde que os sistemas estudados sejam bem
comportados
- Se o nmero de objetos (exemplos) for insuficiente, ou se no
forem bem escolhidos, as hipteses obtidas podem ser de pouco
valor
A inferncia indutiva um dos principais mtodos utilizados para
derivar conhecimento novo e predizer eventos futuros

Aprendizado de Mquina - uma definio

Um programa aprende a partir da experincia
E,
em relao a uma classe de tarefas T, com
medida de desempenho P, se seu desempenho em
T,
medido por P, melhora com E.

Mitchell, 1997
Tambm chamado de Aprendizado Indutivo

Aprendizado de Mquina

Melhorar a realizao de uma tarefa a

partir da experincia

Melhorar a realizao da tarefa T

Em relao a uma medida de
desempenho P
Baseada na experincia E

Aprendizado de Mquina - Exemplo (1/2)

Deteco de bons clientes para um carto de crdito

Tarefa T: classificar potenciais novos clientes como
bons ou maus pagadores
Medida de Desempenho P: porcentagem de
clientes classificados corretamente
Experincia de Treinamento E: uma base de dados
histrica em que os clientes j conhecidos so
previamente classificados como bons ou maus
pagadores

Aprendizado de Mquina - Exemplo (2/2)

Reconhecimento de caracteres manuscritos

Tarefa T: reconhecer e classificar caracteres

manuscritos
Medida de Desempenho P: percentagem de
caracteres classificados corretamente
Experincia de Treinamento E: base de
dados de caracteres manuscritos com a
respectiva classificao

Tipos de Aprendizado de Mquina (1/3)

Aprendizado Supervisionado
O algoritmo de aprendizado (indutor) recebe um conjunto de
exemplos de treinamento para os quais os rtulos da classe
associada so conhecidos
Cada exemplo (instncia ou padro) descrito por um vetor de
valores (atributos) e pelo rtulo da classe associada
O objetivo do indutor construir um classificador que possa
determinar corretamente a classe de novos exemplos ainda
no rotulados
Para rtulos de classe discretos, esse problema chamado de
classificao e para valores contnuos como regresso

Tipos de Aprendizado de Mquina (2/3)

Aprendizado No-Supervisionado
O indutor analisa os exemplos fornecidos e tenta determinar se
alguns deles podem ser agrupados de alguma maneira,
formando agrupamentos ou clusters
Aps a determinao dos agrupamentos, em geral,
necessrio uma anlise para determinar o que cada
agrupamento significa no contexto problema sendo analisado

Tipos de Aprendizado de Mquina (3/3)

AM

Supervisionado

Classificao
k-NN (Nearest Neighbors)
rvores de Deciso
Naive Bayes
Perceptron/Adaline
Multi-Layer
Perceptron

Regresso
k-NN
Adaline
Multi-Layer
Perceptron

NoSupervisionado
k-means
Metdos Hierrquicos
SOM (self organizing maps)

Paradigmas de Aprendizado

Simblico
Expresso lgica, rvores de deciso, regras ou rede
semntica.
Estatstico
Aprendizado Bayesiano
Baseado em Exemplos
Nearest Neighbours e raciocnio baseado em casos
Conexionista
Redes neurais
Evolutivo
Algoritmos genticos

Conceitos e Definies de Aprendizado

Conceitos e Definies

Exemplo (caso, registro ou dado) uma tupla de valores de

atributos
Um paciente, dados mdicos sobre uma determinada doena
Atributo: descreve uma caracterstica ou um aspecto de um
exemplo.
Nominal: cor
Contnuo: peso
Classe: atributo especial (aprendizado supervisionado),
denominado rtulo ou classe.
Classificao: discreto ou nominal C1, C2, Ck
Regresso: valores reais

Conceitos e Definies

Conjunto de exemplos: Um conjunto de exemplos composto por

exemplos contendo valores de atributos bem como a classe
associada.

Conceitos e Definies

Classificador ou Hiptese: Dado um conjunto de exemplos de

treinamento, um indutor gera como sada um classificador
(tambm denominado hiptese ou descrio de conceito) de
forma que, dado um novo exemplo, ele possa predizer com a
maior preciso possvel sua classe.
Rudo: comum no mundo real, trabalhar com dados imperfeitos.
Eles podem ser derivados do prprio processo que gerou os dados,
do processo de aquisio de dados, do processo de transformao
ou mesmo devido a classes rotuladas incorretamente (por
exemplo, exemplos com os mesmos valores de atributos mas com
classes diferentes).

Conceitos e Definies

Missing Values (Valores Perdidos): em geral, indicados por

valores fora do escopo
Tipos: desconhecidos, no registrados, irrelevantes
Razes
- Mau-funcionamento do equipamento
- Mudanas na definio do experimento
- Incapacidade de mesurao

Conceitos e Definies

Modo de aprendizado:
No incremental (batch): sempre que todo o conjunto de
treinamento deva estar presente para o aprendizado.
Incremental: o indutor apenas tenta atualizar a hiptese
antiga sempre que novos exemplos so adicionados ao
conjunto de treinamento.
Taxa de Erro de um classificador h:
Compara a classe verdadeira de cada exemplo com o
rtulo atribudo pelo classificador induzido.

Conceitos e Definies

Preciso do Classificador: complemento da taxa de erro

denotado por acc(h)

Conceitos e Definies

Erro de Regresso: calcula-se a distncia entre o valor real

com o atribudo pela hiptese induzida.
Pode-se usar: erro mdio quadrado ou a distncia absoluta
mdia.

Algoritmos Genticos
Referncia Bsica da Aula

Estefane Lacerda Introduo aos Algoritmos Genticos. Em

Sistemas Inteligentes Aplicaes a Recursos Hdricos e Cincias
Ambientais, 1999
http://www.dca.ufrn.br/~estefane/metaheuristicas/index.html
Stuart Russell and Peter Norvig, Artificial Intelligence - A Modern
Approach. Prentice Hall, 1995.