Incerteza

Captulo 13
IA - Mestrado FEI

Outline

incerteza
Probabilidade
Sintaxe e Semntica
Inferncia
Independncia e Regra de Bayes

incerteza
Seja a ao At = sair para o aeroporto t minutos antes do vo.
At me levar ao aeroporto a tempo?
Problemas:
1.
2.
3.
4.

Estados parcialmente observveis (estado das estradas, trfego, outros planos, etc.)
Sensores ruidosos (relatrios de trafego)
incerteza quanto aos efeitos das aes (pneu furado, etc.)
Grande complexidade em modelar e prever trafego

Assim, um procedimento puramente lgico

1.
2.

Riscaria deduzir algo potencialmente falso: A25 me levar a tempo, ou

Levaria a concluses muito fracas para tomada de decises:

A25 me levar a tempo, se nenhum acidente ocorrer na ponte, e se no chover, e se

nenhum pneu furar, e ...
(A1440 poderia ser um soluo lgica razovel, porm eu teria que passar a noite no
aeroporto)

Mtodos para lidar com incerteza

Default ou lgica no monotnica:
Assuma que o carro no possua um pneu furado;
Assuma que A25 funcionaria a menos que haja evidncia
do contrrio;
! Quais (e quantas) hipteses so razoveis? Como
manipular concluses falhas?
Regras com fatores de incerteza:
A25 |-> 0.3 chegar ao aeroporto a tempo
mangueira |-> 0.99 grama molhada
Grama molhada |-> 0.7 chuva
! Problemas com a combinao de regras contraditrias: A
mangueira causa chuva??

Mtodos para lidar com incerteza

Probabilidade
Modela o grau de crena de um agente
Dado evidncias disponveis
A25 chegar ao aeroporto a tempo com probabilidade
0.04
(Fuzzy manipula o grau de veracidade NO incerteza.
E.g. Grama est molhada verdade com um grau de
0.2)

Probabilidade
A probabilidade proporciona um meio para resumir a
incerteza que vem de nossa:
preguia: falha em numerar todas as excees, antecedentes
ou consequntes para assegurar uma regra sem excees
ignorncia: falta de conhecimento sobre fatos relevantes,
condies iniciais, etc.

Probabilidade subjetiva ou Bayesiana:

Probabilidade se relaciona a proposies sobre o estado
de crena do agente
e.g., P(A25 | no reported accidents) = 0.06

Probabilidade
Proposies probabilsticas no so proposies sobre
o mundo!
Portanto o compromisso ontolgico da teoria da
probabilidade o mesmo da lgica clssica:
As sentenas so verdadeiras ou falsas:
Atribuir prob. 0 (1) a S significa na crena
inequvoca de que S falsa (verdadeira)
(fuzzy assume um outro compromisso...)

Probabilidade
A probabilidade de uma sentena depende das
percepes que o agente recebeu at o momento
(evidncias)
Portanto, probabilidades mudam a partir de novas
evidncias:
e.g., P(A25 | nenhum acidente, 5 a.m.) = 0.15
[ Isso anlogo relao de conseqncia lgica:
BC |= a
]
Todas as declaraes de probabilidade devem indicar
a evidncia de acordo com a qual a prob. est sendo
avaliada.

Decises sob incertezas

Suponha o seguinte conjunto de crenas:
P(A25 chega a tempo | )
P(A90 chega a tempo| )
P(A120 chega a tempo| )
P(A1440 chega a tempo| )

= 0.04
= 0.70
= 0.95
= 0.9999

Que ao tomar?
Depende de minhas preferncias sobre perder o vo
vs. tempo esperando, etc.
Teoria da utilidade representa preferncias (todo estado tem um
grau de utilidade)
Teoria da Deciso = teoria da probabilidade + teoria da utilidade

Introduo probabilidade:
Proposies: graus de crena so aplicados a proposies
(afirmao sobre uma situao)
Elemento bsico: varivel aleatria algo que se refere a
uma parte do mundo cujo status inicialmente
desconhecido;
Domnio
V. aleatrias booleanas: e.g., Carie = <verdadeiro, falso>
V. aleatrias discretas: e.g., Clima possui valores em <ensolarado,
chuvoso, nublado, neve>

V. aleatrias contnuas: e.g., temperatura

Valores do domnio devem ser exaustivos e mutuamente exclusivos

Introduo probabilidade:
Evento Atmico: Especificao completa do
estado do mundo sobre o qual o agente est
inseguro.
Uma atribuio de valores especficos a
TODAS as variveis as quais o mundo
formado
mutuamente exclusivos (no mximo um deles
pode ocorrer em cada instante)
exaustivos: pelo menos um deles tem que
ocorrer

Evento atmico: exemplo

Se o mundo consistir somente de 2 var. booleanas
Carie e DordeDente, ento h quatro eventos
atmicos distintos:
Crie = false DordeDente = false
Carie = false DordeDente = true
Crie = true DordeDente = false
Crie = true DordeDente = true

Axiomas de probabilidade
Para quaisquer proposies A, B
0 P(A) 1
P(verdade) = 1 e P(falso) = 0
(proposies neces. verdadeiras -- vlidas -prob=1 e proposies neces. falsas no
satisfatveis -- prob.=0)

P(A B) = P(A) + P(B) - P(A B)

probabilidade
A probabilidade de uma proposio
igual soma das probabilidades dos
eventos atmicos em que ela vlida:
P(a) = ei e(a)P(ei)
Essa equao fornece um mtodo
simples de calcular a probabilidade de qqr
proposio dada uma distr. conjunta total
que especifique todos os eventos
atmicos.

Probabilidade incondicional ou
a priori

o grau de crena acordado para uma proposio na ausncia de

quaisquer outras informaes
e.g., P(Carie = verdadeiro) = 0.1 and P(Clima = ensolarado) = 0.72

Distribuio de Probabilidades: todos os valores de uma varivel aleatria:

P(Clima) = <0.72,0.1,0.08,0.1> (normalizado, i.e., soma da 1)

Distribuio de probabilidade conjunta: probabilidades de todas as

combinaes de valores de um conjunto de variveis aleatrias
P(Clima,Carie) = tabela 4 2 de valores:

Weather =
sunny rainy cloudy snow
Cavity = true
0.144 0.02
0.016
Cavity = false 0.576 0.08 0.064

0.08

0.02

Probabidade incondicional ou a
priori
Uma distribuio conjunta total especifica a probabilidade de
todo evento atmico e , portanto, uma especificao
completa da incerteza sobre o mundo.
Qualquer questo sobre um domnio pode ser respondida a
partir de sua distribuio conjunta total.

Probabilidade Condicional ou
posterior
Uma vez que alguma evidncia relativa s variveis aleatrias
conhecida, as prob. a priori no so mais aplicveis. Em vez
disso, devemos usar as probabilidades Condicionais ou
posteriores
e.g., P(carie | dordeDente) = 0.8
i.e., dado que dordeDente tudo o que se sabe a respeito de carie

Distribuies condicionais:
P(X | Y) = fornece o conjunto de valores de P(X = xi| Y = yj) para cada i, j
possvel

E se sabemos tambm que crie verdade:

P(carie | dordeDente,crie) = 1

Novas evidncias podem ser irrelevantes,

portanto,e.g.,
P(carie|dordeDente, ensolarado) =P(carie | dordeDente) = 0.8

Probabilidade Condicional
Podem ser definidas em termos de prob. a priori:
P(a | b) = P(a b) / P(b) if P(b) > 0

Regra do produto prov uma definio alternativa:

P(a b) = P(a | b) P(b) = P(b | a) P(a)

Isso pode ser generalizado para distribuies totais: e.g.

P(Clima,Carie) = P(Clima | Carie) P(Carie)

(que um conjunto de 4 2 equaes, no uma multiplicao

matricial.)
Regra da cadeia obtida a partir de aplicaes sucessivas da
regra do produto:
P(X1, ,Xn) = P(X1,...,Xn-1) P(Xn | X1,...,Xn-1)
= P(X1,...,Xn-2) P(Xn-1 | X1,...,Xn-2) P(Xn | X1,...,Xn-1)
=
= i= 1^n P(Xi | X1, ,Xi-1)

Inferncia Probabilstica
Inferncia probabilstica: a computao da
evidncia observada de probabilidades
posteriores para proposies de consulta;
Inferncia com o uso de distribuies
conjuntas totais: base de conhecimento a
partir da qual so derivadas respostas para
todas as perguntas.

Inferncia Probabilstica
Iniciamos com um exemplo em que Cavity = Carie,
Toothache = DordeDente, Catch = Botico. E a seguinte
distribuio conjunta total deste domnio:

Para qqr proposio a, P(a) a soma dos eventos

atmicos w onde a ocorre: P(a) = w:w|=aP(w)

Inferncia Probabilstica
Iniciamos com um exemplo em que Cavity = Carie,
Toothache = DordeDente, Catch = Botico. E a seguinte
distribuio conjunta total deste domnio:

Para qqr proposio a, P(a) a soma dos eventos

atmicos w onde a ocorre: P(a) = w:w|=aP(w)
P(toothache)= 0.108+0.012+0.016+0.064= 0.2

Inferncia Probabilstica
Iniciamos com um exemplo em que Cavity = Carie,
Toothache = DordeDente, Catch = Botico. E a seguinte
distribuio conjunta total deste domnio:

Para qqr proposio a, P(a) a soma dos eventos

atmicos w onde a ocorre: P(a) = w:w|=aP(w)
P(toothache v carie)=
0.108+0.012+0.016+0.064+0.072+0.008= 0.28

Inferncia Probabilstica
Podemos calcular probabilidades condicionais:

P(cavity|toothache) = P(cavity toothache)

P(toothache)
=
0.016+0.064
0.108+0.012+0.016+0.064
= 0.4

 O denominador pode ser visto como uma constante de

normalizao
P(Cavity | toothache) = P(Cavity,toothache)
= [P(Cavity,toothache,catch) + P(Cavity,toothache, catch)]
= [<0.108,0.016> + <0.012,0.064>]
= <0.12,0.08> = <0.6,0.4>
Idia geral: computar a distribuio sobre a varivel de consulta
fixando as variveis de evidncias e somando sobre as
variveis ocultas.

Inferncia probabilstica
inferncia por enumerao
Objetivo: calcular a distribuio de probabilidades das variveis
de consulta X (ex. Cavity), dados valores especficos e (ex.
Toothache) para as variveis de evidncia E.
Seja Y as variveis restantes no observadas (ex. Catch). A
consulta P(X|e) pode ser avaliada como:
P(X|e) = yP(X, e, y)
Note que, juntas, as var. X, E e Y constituem o conjunto
completo de var. para o domnio;
assim, P(X, e, y) simplesmente um subconjunto de
probabilidades a partir da distribuio conjunta total.

Problemas com inf. por

enumerao
Complexidade de tempo (pior caso): O(dn)
Onde d a cardinalidade do maior domnio e
n o nmero de variveis.

Complexidade de espao O(dn) para

armazenar a distribuio conjunta
Como encontrar as probabilidades para
O(dn) elementos??

Independncia
A e B so independentes sse
P(A|B) = P(A) ou P(B|A) = P(B)

ou P(A, B) = P(A) P(B)

P(Toothache, Catch, Cavity, Weather)

= P(Toothache, Catch, Cavity) P(Weather)

32 entradas reduzidas a 12;

n lanamentos independentes de moedas O(2n) O(n)
Independncia absoluta rara.
Odontologia uma rea com centenas de variveis, nenhuma das
quais absolutamente independente. O que fazer?

Independncia Condicional
Se eu tenho crie, a probabilidade do botico acertar esse dente
no depende de minha dor de dente:
(1) P(catch | toothache, cavity) = P(catch | cavity)

A mesma independncia ocorre se eu no tiver uma crie:

(2) P(catch | toothache, cavity) = P(catch | cavity)

I.e. Catch (Botico) condicionalmente independente da

dordeDente dado Crie:
P(Catch | Toothache,Cavity) = P(Catch | Cavity)

Sentenas Equivalentes :
P(Toothache | Catch, Cavity) = P(Toothache | Cavity)
P(Toothache, Catch | Cavity) = P(Toothache | Cavity) P(Catch | Cavity)

Independncia Condicional
Escrevendo toda a distribuio total utilizando a regra da
cadeia:
P(Toothache, Catch, Cavity)
= P(Toothache | Catch, Cavity) P(Catch, Cavity)
= P(Toothache | Catch, Cavity) P(Catch | Cavity) P(Cavity)
= P(Toothache | Cavity) P(Catch | Cavity) P(Cavity)

Na maioria dos caso, o uso da independncia

condicional reduz o tamanho da representao em
distribuio conjunta de exponencial em n para linear
em n.

Bayes' Rule
Da regra do produto P(ab) =
P(a | b) P(b) = P(b | a) P(a)
Regra de Bayes: P(a | b) = P(b | a) P(a) / P(b)
Ou na forma da distribuio conjunta:
P(Y|X) = P(X|Y) P(Y) / P(X) = P(X|Y) P(Y)
til para acessar regras probabilsticas de diagnstico
atravs de probabilidades causais:
P(Cause|Effect) = P(Effect|Cause) P(Cause) / P(Effect)
E.g., let M be meningitis, S be stiff neck:
P(m|s) = P(s|m) P(m) / P(s) = 0.8 0.0001 / 0.1 = 0.0008

Note: posterior probability of meningitis still very small

Regra de Bayes e
Independncia Condicional
P(Cavity | toothache catch)
= P(toothache catch | Cavity) P(Cavity)
= P(toothache | Cavity) P(catch | Cavity) P(Cavity)
Este um exemplo de um modelo de Bayes Ingnuo:
P(Cause,Effect1, ,Effectn) = P(Cause)xiP(Effecti|Cause)

O nmero total de parmetros linear n

 Ex1 - Assuma varias bolas coloridas contidas em trs caixas B1, B2

e B3 distintas e indistinguveis. As bolas esto distribudas da
seguinte forma dentro das caixas:

vermelha
branca
Azul

B1
2
3
6

B2
4
2
3

B3
3
4
3

Uma caixa selecionada aleatoriamente, dentro da qual uma

bola selecionada aleatoriamente. A bola retirada vermelha.
Qual a probabilidade posterior da caixa selecionada ser B1?
Explique.

 4) [Uncertainty] (2.0) Sejam as seguintes

variveis:
F = teve gripe
S = tomou a vacina contra gripe

Assuma os seguintes resultados mdicos:

P(F) = 0.75
P(S) = 0.5
P(F|S) = 0.1

Dado que voc sabe que alguem est com

gripe, qual a probabilidade desta pessoa ter
tomado a vacina contra gripe? Explique os
seus clculos.

 (13.11) Suponha que voc receba uma bolsa

com n moedas imparciais. Voc informado de
que n-1 dessas moedas so normais, com cara
de um lado e coroa no outro, enquanto uma
moeda falsa, com cara em ambos os lados.
a)Suponha que voc enfie a mo na bolsa, escolha
uma moeda uniformemente ao acaso, lance a moeda
e obtenha como resultado cara. Qual a
probabilidade (condicional) de que a moeda
escolhida seja a moeda falsa?
b) Suponha que voc continue lanando a moeda at
um total de k vezes depois de escolhe-la e veja k
caras. Qual a probabilidade condicional desta ser a
moeda falsa?